연구팀은 LLM이 생성하는 환각 현상이 지식 부족이 아닌 잘못된 추론 경로에서 비롯될 수 있음을 분석했어요. 이를 '추론 불일치'라고 정의하고, 사전 지식과 모델의 추론 경로 간 불일치가 환각을 유발한다는 가설을 제시했어요. 새로운 테스트베드 TrapQA를 통해 과학자 식별 및 일상적인 제약 준수 과정에서 환각이 발생하는 현상을 확인했어요.
ScientistQA는 유사한 과학자 식별 시, Real-Life Constrained QA는 일상적인 제약 준수 과정에서 발생하는 환각을 진단하는 데 사용돼요. 연구 결과, 환각은 지식 부족보다는 편향된 잠재적 추론에서 비롯되는 것으로 나타났어요.
연구팀은 '잠재적 키-태스크 모델' 프레임워크를 통해 사전 학습 빈도 불균형이 제약 조건에 민감한 경로를 지배하고 추론 손실을 유발할 수 있음을 설명했어요.