Pulse · AI 뉴스

MoE 전문가 병목 현상 진단: Cross-architecture Observatory

DeepSeek · 2026-05-20

연구진은 MoE 전문가 병목 현상 완화를 위한 기존 방식들이 가진 두 가지 가정을 검증하기 위해 DODOCO를 도입했어요.

결과적으로, routing 불균형은 시스템 레이어로 수정 가능하며, mock-token 벤치마크가 실제 routing을 잘 반영한다는 가정은 모두 실패했어요.

실제 데이터 환경에서는 전문가 간 토큰 비율 차이가 고유하게 발생하며, mock 토큰은 routing Gini 지니를 과대평가하고 batch size 의존성을 왜곡했어요.

##MoE##병목현상##성능분석
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기