연구진은 LLM의 환각 현상을 일관성 없이 측정하는 기존 벤치마크의 문제점을 지적하며 HalluWorld를 새롭게 제안했어요.
HalluWorld는 명확한 기준 세계(reference world)를 기반으로 모델이 생성하는 주장이 거짓인지 자동으로 판단하는 벤치마크예요.
다양한 환경에서 LLM을 평가한 결과, 직접 관찰한 정보에 대한 환각은 상당 부분 해결되었지만, 다단계 상태 추적과 인과 관계 추론은 여전히 어렵다는 점이 확인되었어요.
연구 결과는 환각 현상이 단일 능력 부족에서 비롯된 것이 아니라 다양한 오류 모드에서 발생한다는 점을 시사하며, 통제된 기준 세계가 환각 측정 및 감소에 도움이 될 수 있음을 보여줘요.