연구진은 시각 정보만으로 풀 수 없는 질문에 답하기 위해 외부 지식을 활용하는 모델 성능을 평가하는 WikiVQABench를 공개했어요. 위키피디아 이미지, 캡션, Wikidata 정보를 결합하여 인간이 직접 검수하고, 시각적 증거 외에 외부 지식이 필요한 질문으로 구성했어요. 15개 모델을 평가한 결과, 성능 편차가 컸으며, 지식 기반 추론 능력을 효과적으로 평가하는 벤치마크임을 입증했어요.
WikiVQABench는 위키피디아 이미지와 관련 지식을 활용하여 시각 질의응답 모델의 성능을 측정하는 데 사용돼요. 모델들은 24.7%에서 75.6%의 정확도를 기록하며, 지식 활용 능력에 따라 성능 차이가 컸어요.
연구 결과, WikiVQABench는 지식 기반 시각 질의응답 모델의 성능을 평가하는 데 유용하며, 관련 모델 개발에 기여할 것으로 기대돼요. 데이터셋과 벤치마킹 코드는 공개되어 있어요.