DeepSeek-R1-Distill-Qwen-7B 모델은 토큰 예산 내에서 종료되거나, 종료되지 않고 예산을 모두 소모하는 이분법적 수렴 패턴을 보입니다. 수렴된 추론은 90.3%의 정확도를 보이는 반면, 실패한 추론은 6.6%에 불과합니다. 모델 내부 표현을 분석한 결과, 토큰 150 위치의 20번째 레이어 활성화 값으로도 추론 실패 여부를 비교적 정확하게 예측할 수 있습니다.
토큰 엔트로피나 반복 통계와 같은 행동 기반 지표보다 활성화 기반 예측이 더 효과적이며, 초기 단계에서 모델의 추론 실패 여부를 감지할 수 있다는 점이 확인되었습니다.
이러한 발견은 조기 종료 추론 및 적응형 컴퓨팅 할당을 가능하게 하는 길을 열어줄 수 있습니다.