연구진은 LVLMs의 환각 현상 원인을 시각 어텐션 부족으로 보고, 어휘 탈취 현상을 발견했습니다. 어휘 탈취는 특정 시각 토큰이 고정된 단어 세트로 반복적으로 디코딩되는 현상입니다. HABI 전략을 통해 무관련 토큰을 정확히 찾아내고, NHAR 지표를 통해 환각 현상 완화에 중요한 어텐션 헤드를 식별합니다. HAVAE는 어휘 탈취 현상을 인지하여 핵심 시각 콘텐츠에 집중하도록 하여 환각 현상을 완화하고 모델의 일반적인 성능을 유지합니다.