Invariant Learning Dynamics 연구팀이 Transformer 언어 모델의 귀납적 추론 능력 발생 원리를 설명하는 이론적 프레임워크를 발표했어요. 기존 연구가 특정 작업에 묶여 있었던 것과 달리, 이 연구는 문맥 내 n-gram과 다중 홉 추론을 아우르는 일반화된 귀납 작업 클래스를 연구했어요. 연구팀은 학습 역학이 해석 가능한 저차원 불변 다양체로 제한된다는 것을 이론적으로 증명했어요.
이 다양체에서 학습 역학은 수천 개의 파라미터가 아닌 해석 가능한 좌표 몇 개로 표현되며, 이를 통해 이론적·경험적 분석이 더 용이해졌어요. 데이터 통계가 문맥 내 학습과 모델 내 학습 간의 경쟁을 어떻게 지배하는지, 무작위 초기화가 가능한 여러 솔루션 중 '승리' 회로를 어떻게 결정하는지 분석했어요.
학습된 모델에서 어떤 회로가 학습되었는지 자동으로 감지하는 좌표 프레임을 활용하는 방법을 시연하며, 회로 형성을 저차원 동역학 현상으로 규정함으로써 Transformer 학습 예측 이론에 한 걸음 다가섰습니다.