연구진이 RAG(검색 증강 생성) 시스템의 환각 현상 탐지 방법인 CORTEX를 제안했어요. CORTEX는 LLM의 내부 표현을 비교하여 토큰 수준에서 환각된 내용을 찾아내요.
검색된 문서에 기반한 토큰은 그렇지 않은 토큰보다 문서의 영향을 더 강하게 받아야 한다는 원리 기반. 문서의 영향을 반영하는 정보를 활용해 오탐을 줄여요.
두 개의 RAG 벤치마크와 세 개의 LLM으로 실험한 결과, CORTEX가 토큰 단위 환각 현상 탐지 성능을 크게 향상시켰어요.