연구진은 시각 정보의 한계에도 불구하고 기존 VLMs 공간 추론 벤치마크가 충분한 시각 정보가 있다고 가정한다는 점을 지적했어요.
SpatialUncertain 프레임워크를 통해 시야 가림(occlusion)과 시점 왜곡(perspective ambiguity)을 유발하는 새로운 평가 환경을 구축했어요.
실험 결과, VLMs는 시각 정보가 불완전하거나 오해를 불러일으킬 때도 과신하며 답을 시도하고, 추가 시점을 식별하는 데 어려움을 겪는 것으로 나타났어요.
연구는 VLMs가 답을 맞히는 것 이상으로, 언제 회피해야 하는지, 그리고 신뢰할 수 있는 증거를 어떻게 찾아야 하는지를 평가해야 함을 강조해요.