연구진은 LLM의 환각 현상을 감지하는 새로운 파이프라인 'TokenHD'를 제안했습니다. TokenHD는 토큰 수준에서 환각을 감지하여 기존 방식의 단계를 세분화하는 어려움을 해결합니다. 0.6B 파라미터의 작은 모델로도 큰 성능 향상을 보였으며, 8B까지 모델 크기 증가에 따라 감지 성능이 꾸준히 향상되었습니다.
TokenHD는 환각 감지 성능 평가를 위한 엄격한 프로토콜과 중요도 가중 전략을 활용한 모델 훈련 레시피를 제공합니다. 이 방법은 사전 정의된 단계 분할이나 추가 텍스트 재포맷 없이 자유 형식의 텍스트를 직접 분석하여 환각을 식별합니다. 다양한 실제 시나리오에서 뛰어난 일반화 성능을 보였습니다.