연구진은 Mixture-of-Experts (MoE) LLM에서 다양한 지식 영역에서 일관되게 활성화되는 전문가 그룹이 존재한다는 사실을 발견했어요. XPERT는 이러한 전문가 지식을 추출, 통합, 재사용하여 다양한 모델 규모의 언어 모델 훈련을 효과적으로 지원하는 프레임워크입니다. 언어 이해 및 대화 생성 벤치마크 실험 결과, 재사용된 전문가 지식을 활용한 모델은 강력한 성능과 빠른 수렴 속도를 보였어요.