연구진이 기존 모델을 MoE 아키텍처로 변환해 다국어 LLM을 효율적으로 구축하는 방법 \method를 제안했어요. \method는 언어별 전문가를 배정하고, 기존 모델의 Post-training delta를 활용해 언어 확장 과정에서 성능 저하를 최소화해요.
기존 방식 대비 \method는 FLOPs나 파라미터 수가 비슷하더라도 성능이 우수하며, 확장된 언어 성능 향상과 기존 능력 유지를 동시에 달성해요.
연구 결과 \method는 다양한 모델과 Post-training delta에 적용 가능하며, 다국어 LLM 구축에 새로운 가능성을 제시해요.