연구에 따르면 LLM은 응답을 생성하면서 남은 출력 길이에 대한 내부 추정치를 가지고 있어요. 7B~8B 모델의 은닉 상태를 분석한 결과, 프롬프트의 마지막 은닉 상태만으로도 전체 응답 길이를 선형적으로 예측할 수 있다는 사실이 밝혀졌어요. 이는 LLM이 출력 길이에 대한 계획과 유사한 내부 표현을 유지하고 있음을 시사하며, 정확한 계산 불가능성에도 불구하고 대략적인 추정을 수행하는 것으로 보입니다.
자연어 데이터셋으로 훈련된 예측 방향은 합성 데이터셋에도 효과적으로 전이되며, 통계적 기준을 능가하는 성능을 보여줘요. 반대로, 합성 데이터셋에서 훈련된 예측 방향은 자연어 데이터셋에 잘 작동하지 않으며, 이러한 비대칭성은 중요한 정보를 담고 있어요. 특히, 모델이 부분 솔루션을 수정할 때 예측치가 상향 조정되는 현상은 위치 정보만으로는 재현할 수 없는 특징이에요.
이 연구는 LLM이 응답 생성 과정에서 출력 길이를 대략적으로 추정하며, 이는 계획과 유사한 내부 표현을 유지하는 증거로 해석될 수 있어요. 이는 트랜스포머의 정확한 계산 불가능성 결과와는 구별되는 개념이며, LLM의 작동 방식에 대한 새로운 시각을 제공합니다.