연구진은 희소 혼합 전문가(SMoE) 모델에서 라우터와 전문가 간의 기하학적 결합을 발견했습니다. 이는 특정 토큰에 대해 선택된 전문가의 라우터 가중치와 해당 전문가의 가중치가 동일한 입력 방향으로 기울어진다는 것을 의미합니다. 이러한 결합은 라우팅 결정을 효과적으로 만드는 데 중요합니다.
보조 로드 밸런싱 손실은 입력 방향의 기울기를 라우터 가중치 전체에 분산시켜 라우터 방향의 유사성을 높여 기하학적 결합을 깨뜨립니다. 이는 효과적인 라우팅을 방해합니다.
연구진은 파라미터가 없는 온라인 K-Means 라우터를 사용하여 기하학적 결합의 중요성을 입증했습니다. 이 라우터는 전문가가 라우팅된 숨겨진 상태의 실행 평균을 유지하고 코사인 유사성을 기반으로 토큰을 할당합니다.