서버 랙은 최대 용량으로 윙윙거리고, 팬 속도는 100%에 도달했어요. Router는 열적 스로틀링을 마지막으로 생각하지 않았어요. Top-1 라우팅 대신 Top-2 활성화를 실행하며 Expert 0과 Expert 1 모두에게 라우팅했어요. Expert 0은 전체 파라미터의 거대한 티탄이면서, Expert 1은 민첩한 저랭크 어댑터예요. 훈련 손실이 절대 0으로 떨어지면서 역전파가 시작됐고, CUDA 스트림 전체에 동기화 장벽이 발생했어요.