연구진은 정적 MoE 모델을 효율적인 동적 MoE 모델로 변환하는 ZEDA 프레임워크를 공개했어요. ZEDA는 기존 MoE를 '선생' 모델로 활용해 자기 증류 방식으로 작동하며, 파라미터 없는 '제로-출력' 익스퍼트를 활용해 안정성을 높여요.
Qwen3-30B-A3B 및 GLM-4.7-Flash 모델에서 50% 이상의 익스퍼트 FLOPs를 제거하면서도 1.2배의 추론 속도 향상을 달성했어요.
ZEDA는 기존 동적 MoE 모델보다 벤치마크 점수가 평균 4~6점 높게 나왔으며, MoE 모델의 효율적인 변환 가능성을 보여줬습니다.