연구진은 LLM의 환각 현상을 줄이기 위해 PCNET이라는 확률 회로를 제안했습니다. PCNET은 LLM의 잔류 스트림에 대한 밀도 추정기로 학습되며, 환각을 사실 기반 공간의 기하학적 이상 현상으로 감지합니다.
PCNET은 동적 게이트 역할을 하여 디코딩 단계마다 환각된 상태와 사실 기반 상태를 구별하고, PC-LDCD를 통해 사실 기반 영역에서 벗어나는 경우에만 개입합니다.
실험 결과, PCNET은 CoQA, SQuAD v2.0, TriviaQA에서 거의 완벽한 환각 감지율을 달성했으며, TruthfulQA에서 기존 방법보다 높은 성능을 보였습니다.