연구진이 MoE 모델의 비효율적인 전문가 관리 문제를 해결하기 위해 MAESTRO 프레임워크를 개발했어요. MAESTRO는 전문가 활성화 경로를 마르코프 연쇄로 모델링하여 의존성을 고려한 불필요 전문가 제거를 수행해요.
안전, 편향, 윤리 등 5가지 영역에서 기존 방식 대비 최대 10.61% 성능 향상을 보였고, 다양한 작업에서 일관된 성능을 유지했어요.
MAESTRO는 50% 압축률에서도 뛰어난 성능을 유지하며, MoE 모델 배포 효율성을 높이는 데 기여할 것으로 기대돼요.