연구진이 자율 주행 시뮬레이션 환경에서 시각적 증거 식별 능력을 평가하는 새로운 벤치마크를 발표했어요. 이 벤치마크는 6개의 동기화된 NuScenes 뷰와 질문을 기반으로 모델이 지원하는 카메라 뷰를 식별하고 질문에 답하는 방식으로 구성돼요. 기존 평가 방식이 놓치는 시각적 근거 오류를 파악하는 데 목표를 두고 있어요.
벤치마크는 원인, 반사실적 추론, 의도 예측을 포함하는 73개 장면의 122개 질문-답변 쌍으로 구성돼 있으며, 자동화된 파이프라인으로 제안된 뷰 레이블은 수동으로 검증했어요. 모델은 카메라 뷰 선택, 이상적인 뷰를 제공받은 QA, 뷰 선택 및 답변을 한 번에 예측하는 세 가지 설정에서 평가돼요.
이 벤치마크는 시각적 근거 식별과 답변 정확도를 분리하여 기존 평가 방식으로는 놓칠 수 있는 오류를 드러낼 수 있도록 설계됐어요.