Anthropic이 언어 모델 내부 '작업 공간'의 노이즈(엔트로피)를 활용해 환각 현상을 감지하는 연구를 발표했어요. `solarkyle`이 이를 오픈 소스로 구현하며 TriviaQA에서 오류를 정확하게 식별하는 것을 확인했어요.
연구자는 Qwen3-4B 모델을 활용해 7개 데이터셋에서 J-Space 엔트로피를 추출하며, 사실 기반 질문에서 오류를 100% 정확도로 식별하는 데 효과적임을 발견했어요.
하지만 TruthfulQA 데이터셋에서는 예측력이 완전히 무너졌고, 수학 문제에서는 정적 임계값을 적용할 수 없음을 확인했으며, 모델 규모에 따른 변화를 분석할 계획이에요.