연구자가 LLM의 허위 전제 수용도와 환각 현상을 측정하는 새로운 벤치마크 'HalBench'를 개발하고, Claude Opus 4.6, Grok 4.3, GPT-5.4, Gemini 3.1 Pro 모델을 테스트했습니다.
HalBench는 3,200개의 허위 전제 프롬프트를 사용하며, 인간 검수 결과 Claude Opus 4.6이 가장 높은 점수를 기록했고, Gemini 3.1 Pro는 가장 낮은 점수를 기록했습니다.
GPT와 Gemini는 프롬프트를 그대로 따르는 경향이 있었고, Gemini는 답변 후 경고를 추가하는 패턴을 보였으며, A2(실제 대상의 잘못된 속성) 유형의 프롬프트에서 모든 모델이 취약점을 드러냈습니다.