연구진은 시각 정보가 부족하거나 잘못된 경우, 거대 비전-언어 모델(LVLMs)이 객체 환각을 일으키는 문제를 확인했어요.
기존 대비 디코딩 방법은 시각적 입력을 변경하여 예측을 비교하지만, CHASD는 환각 위험이 일시적이고 토큰별이라는 점에 주목했어요.
CHASD는 불확실성 기반 신뢰도 게이트를 사용하여 최대 확률이 특정 임계값 미만인 경우에만 대비 분기를 활성화하고, 시각적 토큰의 주의력을 기반으로 국소적 변경을 적용하여 효율성을 높였어요.
POPE, AMBER, MME, MMHal-Bench, CHAIR 데이터셋에서 CHASD는 기존 방식보다 환각 관련 지표를 개선하고, 추론 효율성도 유지했어요.