에릭 자코핀이 '프로레프시스(prolepsis)'라는 새로운 개념을 제시하며, 트랜스포머 모델이 어떻게 초기 의사 결정을 내리고 이를 유지하는지 분석했어요. 이는 계획 수립 과정에서 특정 어텐션 헤드가 결정적인 역할을 한다는 것을 의미합니다.
연구 결과, 계획 수립에는 최대 16개의 레이어가 필요하지만, 결정은 더 많은 레이어를 필요로 하며, 특정 어텐션 헤드가 출력을 담당하여 기존 해석 그래프에서 보이지 않던 연결 고리를 형성하는 것으로 나타났어요.
이 연구는 Gemma~2 2B, Llama~3.2 1B 모델을 활용하여 수행되었으며, 사실 기반 정보 회수에서도 유사한 패턴이 관찰되었어요. 이는 프로레프시스가 모델 아키텍처의 공유된 템플릿에 기반하며, 라우팅 기판이 다르다는 것을 시사합니다.