연구진은 MoE 모델의 레이어별 전문가 할당 방식의 비효율성을 지적하고, 전문가 풀을 공유하는 새로운 아키텍처 'UniPool'을 제안했습니다.
UniPool은 레이어별 라우터가 공유된 전문가 풀에 접근하는 방식으로, 레이어 깊이 증가에 따른 전문가 파라미터 증가를 줄이고 성능을 향상시킵니다.
실험 결과, UniPool은 LLaMA 아키텍처 모델에서 검증 손실과 퍼플렉시티를 개선했으며, 전문가 파라미터 예산 감소에도 불구하고 기존 MoE 모델보다 우수한 성능을 보였습니다.