연구진은 Mixture-of-Experts(MoE) 모델의 전문가 생태계 건강 상태를 예측하는 무차원 제어 매개변수 E = T*H/(O+B)를 새롭게 제시했습니다.
12개의 실험을 통해 E 값이 0.5 이상이면 전문가가 사망하지 않는다는 것을 확인했으며, 이는 기존의 복잡한 로드 밸런싱 보조 손실을 없애줍니다.
연구 결과는 CIFAR-10, WikiText-2 등 다양한 데이터셋과 모델에서 검증되었으며, MoE 훈련의 통합 진단 도구로서 활용될 수 있습니다.