연구진이 전문가 레이어를 작업자 간에 분산하는 FoMoE 시스템을 소개하며, LLM 훈련 시 전체 모델 복제를 없애는 새로운 접근 방식을 제시했어요. FoMoE는 기존 방식 대비 통신 비용을 최대 45.44배 줄이고, 새로운 skip-token 메커니즘을 통해 최대 1.4배의 처리량 향상을 달성했어요. 연구 결과, FoMoE는 100B 규모 모델에서도 통신 및 메모리 효율성을 제공하며, 안정적인 라우팅을 유지하는 것으로 나타났어요.