연구진은 시선 이해 능력을 평가하는 프레임워크 EyeVLM을 공개했어요. EyeVLM은 시선 추종과 사회적 시선 예측 2가지 핵심 과제를 통해 VLM의 시선 이해 능력을 측정합니다.
EyeVLM은 다양한 VLM 모델을 평가하고, 프롬프트 전략과 파인튜닝을 통해 모델 성능 변화를 분석했어요. 현재 VLM은 시선 이해 능력이 부족하며, 추가적인 개선이 필요합니다.
연구 결과, 시선 추종은 시각적 처리 능력이 중요하고, 사회적 시선 예측은 LLM의 추론 능력이 필요하며, 두 과제 모두 VLM의 성능 향상이 필요함을 보여줍니다.