연구진은 의료 MLLM의 신뢰성을 높이기 위해 환각 발생 원인을 단계별로 진단하는 벤치마크 'ClinHallu'를 공개했어요. ClinHallu는 시각 인식, 지식 회수, 추론 통합 3단계로 구성된 7,031개 검증 사례를 포함하고 있어요. 단계별 환각을 줄이기 위한 미세 조정 방법도 제시됐어요.
ClinHallu는 시각적 오류, 부정확한 의료 지식, 잘못된 추론 통합 등 환각 발생 원인을 분석할 수 있도록 설계됐어요. 각 단계에 대한 개입 실험을 통해 최종 답변에 미치는 영향을 측정할 수 있어요.
ClinHallu는 GitHub에서 공개됐으며, 의료 MLLM의 추론 실패를 진단하고 완화하는 데 활용될 수 있는 정밀한 테스트 환경을 제공해요.