연구진은 시각적으로 뒷받침되는 질문 답변에서 VLMs가 담론의 주제와 새로운 초점을 구별하는지 조사했어요. 헝가리어의 문법적 특징을 활용하여 VLMs의 정보 구조(IS) 표현 방식을 분석했답니다. 6개의 VLM과 인간 참가자를 비교한 결과, 모델은 IS와 관련된 구문을 생성하지만 과도하게 일반화하는 경향이 있었어요.
인간은 담론 상태, 문법적 역할, 명확성의 상호 작용 압력에 따라 다양한 IS 실현 전략을 선택하지만, VLM은 좁은 응답 템플릿으로 좁혀져 모드 콜랩스를 보이는 것으로 나타났어요. 연구 결과, VLM 평가는 콘텐츠 정확성 외에도 콘텐츠가 담론에 어떻게 포장되는지 살펴보아야 함을 시사합니다.
연구는 VLMs가 담론에 적합한 방식으로 정보를 표현하는 능력을 평가하는 것이 중요하다는 점을 강조하며, 콘텐츠 정확성만으로는 충분하지 않다는 점을 지적합니다.