연구진이 시각적 근거를 제시하는 새로운 비디오 질의응답(E-VQA) 과제를 제안했어요. 모델은 질문에 답하는 동시에 시간적 구간과 객체 분할 마스크릿과 같은 정확한 시공간적 증거를 제시해야 해요.
ST-Evidence 벤치마크를 통해 기존 모델의 질의응답 정확도와 실제 시각적 인식 간의 괴리를 확인했어요. 단순히 모델 크기를 키우는 것만으로는 이 문제를 해결할 수 없어요.
ST-Evidence-Instruct 데이터셋을 활용해 시각적 근거를 갖춘 비디오 이해 모델을 튜닝한 결과, 기존 모델보다 성능이 크게 향상됐어요.