연구진이 MoE 모델의 효율적인 파라미터 효율적 미세 조정(PEFT) 기법인 MoE²-LoRA를 제안했어요. 이 방법은 사전 학습된 전문가 특수화와 작업별 적응성을 결합하여 라우터 우선순위를 재사용하고, 동적 어댑터 라우팅을 가능하게 해요.
MoE²-LoRA는 모든 레이어에서 공유되는 단일 글로벌 LoRA 전문가 풀을 도입하여 모델 전체의 적응을 가능하게 하고, 계층별 친화력과 균형 잡힌 전문가 활용을 촉진해요.
다양한 규모와 전문가 세분화 수준의 MoE 백본에서 평가 결과, MoE²-LoRA는 최고 수준의 다운스트림 정확도를 달성하며 일반적인 능력도 유지하는 것으로 나타났어요.