연구진이 Dense FFN과 MoE 모델 간 하이퍼파라미터 이전 문제를 해결하는 프레임워크 'Complete-muE'를 제안했어요.
Complete-muE는 활성 전문가 스케일링을 통해 Dense MoE와 희소 MoE 간의 이전 규칙을 정의하며, 기존 방식의 제약을 극복했어요.
실험 결과, Complete-muE는 다양한 모델 아키텍처와 파라미터 수에 걸쳐 비교적 안정적인 하이퍼파라미터 최적점을 제공하며, Dense 모델에서 튜닝한 하이퍼파라미터가 MoE 모델에 거의 최적화된 상태로 이전됨을 확인했어요.