본 연구는 트랜스포머의 조합적 일반화 메커니즘을 변수 할당과 모듈러 덧셈 설정을 통해 분석했어요. 연구 결과, 작은 트랜스포머는 훈련 데이터에 없는 변수와 숫자의 조합에 대해 일반화하는 능력을 보여줬어요. 훈련 과정은 모듈러 덧셈 학습, 변수 할당 구조 학습, 그리고 어려운 시퀀스 일반화의 세 단계로 나뉘었어요.
연구팀은 훈련 과정에서 모듈러 덧셈 MLP 모듈이 변수 할당 메커니즘을 통해 직접 또는 간접적으로 입력될 때 동일하게 사용된다는 것을 확인했어요.
이 연구는 조합적 일반화가 트랜스포머 내부 메커니즘의 조합성에서 자연스럽게 발생하는 결과일 수 있다는 것을 보여주는 이론적 프레임워크를 제공해요.