본 연구는 배포 환경 변화 시 Mixture-of-Experts (MoE) 모델의 행동을 분석하고, 전문가 수준 교정이 전체 모델의 교정을 보장하는 조건을 탐구합니다. 하드 라우팅 모델에서는 전문가 교정이 광범위한 배포 환경 변화 하에서 전체 모델의 교정을 보장하지만, 소프트 라우팅 모델에서는 그렇지 않음을 확인했습니다. 이를 해결하기 위해 배포 환경 변화 하에서 라우팅된 집계의 교정 오류를 줄이는 적대적 재가중 방식을 제안했습니다.
제안된 방식은 모델 클래스, 예측 작업, 배포 환경 변화에 관계없이 평균적으로 데이터의 어려운 부분에서 정확도-교정 균형을 개선합니다. 기존 연구를 바탕으로 MoE 모델의 교정 메커니즘을 이해하고 개선하는 데 기여합니다.
연구 결과는 MoE 모델의 신뢰성을 높이고, 배포 환경 변화에 강건한 예측을 가능하게 하는 데 중요한 시사점을 제공합니다.