Helldez의 BigMoeOnEdge 프로젝트 덕분에 사용자가 Xiaomi 12 Pro(12GB RAM)에 35B MoE 모델을 성공적으로 구동했어요. 현재 8192 토큰으로 맥락이 제한되지만, 엣지 장치에서 이 크기의 모델을 로컬에서 실행하는 것은 놀라운 일이에요. 토큰 생성 속도는 2.428 tok/s이며, CPU 점유율은 88.1%로 나타났어요.