연구진이 혼합 전문가(MoE) 모델의 '전문가 경로' 개념을 제시했어요. 토큰이 모든 레이어를 거치며 선택하는 전문가의 순서를 추적하여 분석한 결과, 대부분의 경로가 활용되지 않는 비효율성이 발견됐어요. 이를 개선하기 위해 경로 공간을 제한하는 새로운 아키텍처를 제안합니다.
MoE 모델은 각 토큰을 독립적으로 레이어별 전문가 집합을 통해 라우팅합니다. 연구진은 토큰이 모든 레이어를 거치며 선택하는 전문가의 순서를 '전문가 경로'로 정의하고, 이를 통해 모델의 비효율성을 분석했어요. 기존 모델은 토큰이 다양한 경로를 선택하지만, 실제로는 일부 경로만 반복적으로 사용합니다.
연구진은 전문가 경로를 제한하는 새로운 아키텍처를 제안하여 모델의 효율성을 높이고자 합니다. 이는 토큰이 특정 경로를 따르도록 유도하여 불필요한 계산을 줄이고 성능을 향상시키는 것을 목표로 합니다.