연구진은 언어 모델의 '추론' 과정인 Chain-of-Thought를 불확실성 관점에서 분석하여, 중간 토큰 시퀀스를 모델 상태 변화로 간주했습니다.
불확실성 추적 프로파일이라는 특징 집합을 통해 GSM8K 및 ProntoQA 데이터셋에서 5개 모델의 추론 과정을 분석한 결과, 정답 여부를 0.807의 AUROC로 예측했습니다.
전체 추론 과정의 일부 토큰만으로도 오류를 조기에 감지할 수 있으며, 정답 추론 과정은 더 가파르고 선형적이지 않은 불확실성 감소 패턴을 보였습니다.