연구진은 Mixture-of-Experts 모델의 핵심 구성 요소인 라우터의 성능을 개선하기 위해 새로운 설계 방안을 제시했어요. 라우터 행을 관련 전문가의 주성분 방향과 일치시키는 Manifold Power Iteration (MPI) 기법을 도입했어요. MPI는 파워 반복 단계와 retraction 단계를 결합하여 효율성과 안정성을 확보하고, 실험적으로 110억 파라미터 규모의 모델에서 효과를 검증했어요.
기존 라우터는 전문가 행렬을 대표하는 벡터로 응축하는 설계 원리가 부족하다는 문제점을 안고 있었어요. MPI는 라우터 행을 전문가의 주성분 방향으로 수렴시켜 이러한 문제를 해결하고, 토큰과 전문가 간의 친화력을 더 잘 반영하도록 설계됐어요. '파워-리트랙트' 패러다임을 통해 라우터 가중치에 파워 반복을 수행하고, 정규화 제약을 통해 안정성을 확보했어요.
MPI는 라우터 행이 관련 전문가의 주성분 방향으로 수렴하도록 이론적으로 증명되었으며, 10억에서 110억 파라미터 규모의 MoE 모델을 사전 훈련하여 효과를 확인했어요.