연구팀은 시각-언어 모델(VLM)이 유용한 시각적 증거와 부수적인 이미지 맥락을 구별할 수 있는지 조사했어요. 실제 이미지 맥락은 인간 평가와 일치성을 떨어뜨리고, 특히 시각적 증거가 관련 없을 때 성능 저하를 유발했어요. 텍스트 콘텐츠에 집중하도록 지시하면 이러한 성능 저하를 줄일 수 있었어요.
연구 결과, 현재 VLM은 시각적 맥락이 어떠한 경우에 어휘 판단에 영향을 미쳐야 하는지에 대한 교정이 필요하다는 점을 시사해요. 연구팀은 인간의 구체성 및 이미지 평가 데이터를 활용하여 모델의 성능을 분석하고, 시각적 맥락이 모델의 표현 방식에 미치는 영향을 파악했어요.
모델이 실제 이미지 맥락에 과도하게 의존하면 부적절한 시각적 단서에 민감해지고, 어휘적 특성을 제대로 반영하지 못하는 문제가 발생했어요. 연구팀은 모델에 텍스트 콘텐츠에만 집중하도록 지시하여 이러한 문제를 완화할 수 있음을 확인했어요.