본 연구는 Mixture-of-Experts (MoE) 모델에서 도메인 전환 시 발생하는 문제점을 분석하고, 기존 affinity 라우팅의 한계를 지적합니다.
연구진은 temporal memory, precision-weighted gating, anticipatory routing 등 세 가지 방법을 제안하여 라우팅 성능을 124배 향상시켰습니다.
새로운 방법은 Friston의 자유 에너지 원리와 spiking neural network의 LIF dynamics를 활용하며, 도메인 전환 예측 정확도를 크게 높입니다.