연구진이 온디바이스 Mixture of Experts(MoE) 모델 MobileMoE를 공개했어요. MobileMoE는 0.3~0.9B 활성 파라미터, 1.3~5.3B 총 파라미터로 구성돼요. 14개 벤치마크에서 기존 온디바이스 LLM을 능가하며 FLOPs를 2~4배 줄였어요.
MobileMoE는 모바일 메모리·컴퓨트 제약 하에 MoE 아키텍처를 최적화하는 새로운 온디바이스 MoE 스케일링 법칙을 제시했어요. INT4 가중치 메모리에서 MobileMoE-S는 MobileLLM-Pro 대비 최대 3.8배 빠른 디코드를 제공합니다.
연구진은 스마트폰에서 효율적인 MoE 추론을 제공하며 온디바이스 프로파일링을 통해 최종 단계의 모바일 배포를 지원합니다.