연구진이 복잡한 사회적 행동을 묘사하는 CSB 데이터셋을 공개했어요. 2017년부터 2025년까지의 VLM(시각-언어 모델)의 발전 과정을 분석했답니다. CSB 데이터셋은 기존 MS-COCO보다 모델의 성능 향상을 더 명확하게 보여줬어요. 최신 MLLM은 인간 수준의 정확도를 달성하며, 시각적 인지 오류는 거의 사라졌어요.
객체 인식, 장면 이해, 공간적 의존성 등 5가지 시각-언어 오류를 분석한 결과, 객체 인식과 환각 오류가 정확도에 가장 큰 영향을 미치는 것으로 나타났어요. MLLM은 MS-COCO와 CSB 데이터셋 간의 설명 정확도 격차를 거의 해소했어요. 연구 결과는 지난 10년간 시각 언어 모델의 발전을 심층적으로 평가하는 데 기여할 거예요.