EMO는 MoE 모델의 학습 효율성을 높이는 새로운 프레임워크입니다. 초기 데이터 활용률이 낮을 때 전문가 풀을 늘리는 것이 비효율적이라는 문제점을 해결합니다. EMO는 점진적으로 전문가 풀을 늘려 MoE 모델의 용량을 확장하는 방식으로 학습합니다.
EMO는 컴퓨팅 자원을 효율적으로 사용하기 위해 단계별 토큰 예산을 결정하고, 기존 방식과 동일한 성능을 유지하면서도 학습 시간을 단축하고 GPU 비용을 절감합니다. 확장 가능한 MoE 학습을 위한 간단하면서도 효과적인 방법을 제시합니다.
EMO는 MoE 모델의 전문가 풀을 늘리는 과정에서 발생하는 메모리 및 통신 비용 증가 문제를 해결하여, 대규모 실험에서 성능을 유지하면서도 학습 효율성을 향상시킵니다.