연구진은 MoE 모델의 전문가 풀을 도메인에 맞게 재정렬하는 UMoE 파이프라인을 제안했어요. UMoE는 전문가의 도메인 연관성 기반으로 전문가를 제거하고, 새로운 전문가를 추가하는 방식으로 작동해요. 이 방법은 기존 파라미터 수와 추론 비용을 유지하면서도 모델 성능을 향상시킬 수 있어요. 연구 결과, UMoE는 다양한 MoE 아키텍처와 도메인에서 직접 SFT보다 성능이 우수했어요.
Qwen3-30B-A3B 및 Qwen3.5-35B-A3B 모델을 대상으로 수학, 코딩, 과학, 도구 사용, 에이전트 코딩 등 5개 도메인에서 실험을 진행했어요. SWE-bench Verified에서 6.0점, 수학 평균 정확도에서 3.4점의 성능 향상을 보였어요. 특히, 강력한 SFT 환경에서도 추가적인 성능 향상을 보여줬어요.
데이터 규모 확장 실험 결과, UMoE는 학습 데이터 증가에도 성능 향상이 지속되는 것을 확인했어요. 분석 결과, 직접 SFT 모델은 낮은 연관성을 가진 전문가에게 과도한 컴퓨팅 자원을 할당하며, UMoE는 이를 개선하여 더 낮은 학습 손실을 달성했어요.
UMoE는 기존 전문가 수와 파라미터 수를 유지하면서도 도메인 특화 학습 성능을 향상시키는 효과적인 방법으로, 향후 LLM 개발에 기여할 것으로 기대돼요.