연구진은 트랜스포머가 다양한 유도 편향 패밀리 기반으로 에피소드 수준의 적응을 조직화할 수 있는지 연구했어요. 이를 위해 잠재 알고리즘 라우팅이라는 통제된 환경을 설정했어요. ROUTEBENCH라는 새로운 진단 벤치마크를 도입하여 글로벌 축소, 희소성, 강건성, 지역성을 차별적으로 선호하는 체제를 운영했어요. 44M~612M 파라미터의 트랜스포머 모델은 오라클 라우팅 격차의 80.9%를 좁히고 라우트 F1 점수 84.1을 달성했어요.
라우트 관련 내부 방향은 프로브를 통해 해독 가능하며 솔버 패밀리 일관성 있는 출력 행동에 기능적으로 관여하는 것으로 나타났어요. 자연어 렌더링, 섞인 지원, 어휘적 패러프레이즈, 통일된 4가지 라우팅 설정에서도 효과가 유지됐어요.
입력 조건부 소프트 혼합 및 비지도 Gumbel 라우터와 같은 강력한 적응형 대안은 격차를 좁혔지만 라우트 F1 점수와 OOD 성능에서 306M 및 612M 모델을 능가하지 못했어요. 이번 연구는 밀집 트랜스포머가 ROUTEBENCH에서 라우트와 같은 내부 변수를 개발할 수 있음을 보여주지만, 사전 훈련된 언어 모델이나 제한 없는 자연어 추론에서 보편적인 라우팅을 확립하지는 못했어요.
연구 결과는 밀집 트랜스포머가 라우트와 같은 내부 변수를 개발할 수 있음을 보여주는 통제된 증거를 제공하며, 이는 트랜스포머의 작동 방식에 대한 이해를 높이는 데 기여할 수 있어요.