Mixture-of-Experts(MoE) 구조에서 Expert Tying이라는 새로운 기술을 도입하여 메모리 사용량을 줄였습니다. 이 기술은 트랜스포머 레이어 간에 Expert 파라미터를 공유하면서도 레이어별 라우팅과 어텐션을 독립적으로 유지합니다. 실험 결과, Expert Tying은 메모리 사용량을 2배 가까이 줄이면서도 perplexity나 downstream 품질 저하 없이 성능을 유지했습니다.
OLMoE, Qwen3, DeepSeek MoE 등 다양한 MoE 아키텍처에서 테스트를 진행했으며, 파라미터 중복성을 활용하여 컴퓨팅-메모리 효율성을 높였습니다. 다음 세대 LLM의 효율적인 훈련과 확장에 기여할 것으로 기대됩니다.