연구진은 코딩 에이전트가 소프트웨어 엔지니어링 작업을 수행할 때 내부적으로 프로그램을 어떻게 표현하는지 분석했어요. 숨겨진 상태에 대한 로지스틱 회귀 검증을 통해 현재 코드의 구문 검사, 테스트 통과 여부, 오류 감소, 회귀 발생 여부 등을 예측할 수 있었어요. 놀랍게도, 이러한 표현은 에이전트의 편집보다 앞서 예측하며, 최대 25단계 앞까지 미래 편집 결과를 예측할 수 있는 '잠재적 프로그래밍 지평선'을 보여줬어요.
두 벤치마크에서 재학습 없이 검증이 전이되는 것을 확인하여 외부 타당성을 입증했어요. 코딩 에이전트의 메커니즘 해석에 대한 추가 연구를 촉구하며, 연구 결과는 코딩 에이전트의 작동 방식에 대한 이해를 높이는 데 기여할 것으로 보입니다.