연구진이 정적 MoE 모델을 효율적인 동적 MoE 모델로 변환하는 저비용 프레임워크 ZEDA를 공개했어요. ZEDA는 기존 MoE를 고정된 교사 모델로 활용해 2단계 자기 증류 방식으로 학습하며, 각 MoE 레이어에 파라미터 없는 전문가를 주입해요.
Qwen3-30B-A3B와 GLM-4.7-Flash 모델에서 50% 이상의 전문가 FLOPs를 제거하면서도 1.2배의 추론 속도 향상을 달성했어요. 기존 동적 MoE 모델보다 벤치마크 점수가 4~6점 높게 나타났어요.
ZEDA는 수학, 코딩, 지시 따르기 등 11개 벤치마크에서 강력한 동적 MoE 모델보다 우수한 성능을 보여, MoE 모델의 효율성을 높이는 데 기여할 것으로 기대돼요.