연구진이 LLM Mixture-of-Experts (MoE) 모델의 연성 라우팅 기법인 SoftMoE를 제안했어요. SoftMoE는 기존 방식의 비차분적 라우팅 문제를 해결하고, 전문가 라우팅을 최적화할 수 있도록 설계됐어요.
SoftMoE는 각 레이어별 활성화 전문가 수를 학습하고, 전역 예산 제약을 적용하여 모델이 전문가 용량을 효율적으로 배분하도록 돕습니다. 기존 MoE 모델과 유사한 성능을 보이면서도 더 적은 전문가를 활성화합니다.
학습된 전문가 할당은 레이어별로 불균일하며, 후반 레이어에서 더 많은 전문가가 활성화되는 경향을 보입니다. SoftMoE 소스 코드는 공개됐어요.