연구진은 의료 MLLM의 신뢰성을 높이기 위해 환각 발생 원인을 단계별로 진단하는 벤치마크 'ClinHallu'를 공개했어요. ClinHallu는 시각 인식, 지식 회수, 추론 통합 3단계로 구성된 7,031개 사례를 포함하고 있어요. 단계별 환각을 줄이기 위한 미세 조정 방법도 함께 제시됐어요.
ClinHallu는 시각적 오류, 의료 지식 오류, 추론 오류 등 환각의 다양한 원인을 분석할 수 있도록 설계됐어요. 각 단계에 대한 개입 실험을 통해 특정 단계 수정이 최종 답변에 미치는 영향도 측정 가능해요.
연구 결과, 추적 기반 감독 학습은 단계별 환각을 줄이는 데 효과적이었으며, ClinHallu는 의료 MLLM의 추론 실패를 진단하고 완화하는 데 활용될 수 있어요.