연구진은 Qwen3, Gemma-3, Llama-3 모델의 다양한 규모에서 잠재적 계획 형성 위치를 연구했습니다. 라임 커플릿 완성 작업을 통해 구조적으로 제약된 미래 토큰의 내부 표현이 생성 과정을 유도하는지 확인했습니다. 연구 결과, Gemma-3-27B 모델은 라임 정보를 활용하여 라인 경계로 인과적 드라이버를 이전하는 현상을 보였습니다.
선형 프로빙을 통해 라임 정보가 라인 경계에서 선형적으로 해독 가능하며, 모델 규모가 커질수록 신호가 강화되는 것을 확인했습니다. 활성화 패치 기술을 사용한 결과, Gemma-3-27B 모델은 라임 정보를 인과적으로 의존하며, 라인 경계에서 인과적 드라이버를 이전하는 것을 확인했습니다.
Gemma-3-27B 모델의 인과적 핸드오프는 5개의 어텐션 헤드를 통해 확인되었으며, 두 단계의 경로 패치 기술을 통해 라임 라우팅 용량의 약 90%를 회복했습니다.