Anthropic의 Jacobian Lens 연구를 바탕으로 언어 모델 내부 표현을 검사하는 방법이 제시됐어요. 이 연구에서 내부 '작업 공간'의 엔트로피가 확신에 찬 오답을 식별하는 데 도움이 될 수 있다는 가설이 제기됐어요.
연구원은 Qwen3-4B 모델을 활용해 7개 데이터셋에서 약 11,400개의 예시를 분석한 결과, 사실 기반 검색에서 출력 신뢰도를 보완하는 데 도움이 될 수 있다는 점을 확인했어요.
그러나 내부 오류 개념을 안정적으로 감지하지 못하며, 작업에 따라 엔트로피 보정의 필요성이 달라지는 것으로 나타났어요.
전체적으로 볼 때, 이 방법은 환각을 감지하는 일반적인 오류 감지기가 아니지만, 확신에 찬 오답에 대한 보완적인 라우팅 신호로 유용할 수 있어요.