Mixture-of-Experts (MoE) 모델에서 전문가 수를 늘려 성능을 향상시키는 방법이 연구되고 있어요.
Adaptive Inverted-Index Routing for MoE (AIR-MoE)는 벡터 양자화(VQ)를 기반으로 하는 새로운 라우팅 기법으로, 전체 전문가를 평가하는 대신 후보 전문가 집합으로 제한하여 라우팅 비용을 줄여요.
연구 결과, AIR-MoE는 기존 라우팅 방식보다 성능이 향상되었으며, 전문가 파라미터에 구조적 제약을 두지 않아요.