연구진은 환각 현상 교정은 일방향적인 문제가 아니며, 중간 레이어가 최종 레이어보다 항상 더 진실되거나 신뢰할 수 있는 것은 아니라고 밝혔습니다.
TRACE (Trajectory Correction from Cross-layer Evidence for Hallucination Reduction)는 LLM 내부의 후보 경로를 분석하여 환각을 교정하는 훈련이 필요 없는 알고리즘입니다.
TRACE는 15개 모델, 8개 모델 패밀리, 3개 사실성 벤치마크에서 평가되어 평균 +12.26 MC1 포인트, +8.65 MC2 포인트의 성능 향상을 보였으며, 최대 +47.20 MC1 포인트, +43.38 MC2 포인트의 향상도 기록했습니다.
이 방법은 레이블, 검색, 사전 훈련, 미세 조정 또는 모델별 교정을 사용하지 않으며, 스칼라 반전, 이전 상태 복구, 후보 공간 수정 등의 교정 연산자를 사용합니다.