연구진은 다단계 추론 과정에서 발생하는 환각 현상을 숨겨진 상태의 궤적 변화로 분석했습니다. 정확한 추론은 안정적인 상태 변화를 보이지만, 오류는 전송 비용에서 벗어나는 현상으로 나타납니다.
교사 모델을 통해 단계별 환각을 감지하는 기하학적 특징을 추출하고, 이를 BiLSTM 학생 모델로 증류하여 실제 사용에 적합한 모델을 만들었습니다.
ProcessBench, PRM800K, HaluEval, TruthfulQA 데이터셋에서 기존 방식보다 우수한 성능을 보였으며, 언어 모델과 데이터셋 간 이동에도 안정적으로 작동했습니다.