GAVEL은 이미지와 텍스트 설명의 불일치 검증, 설명, 지역화를 함께 다루는 새로운 태스크입니다. GAVEL 태스크를 지원하기 위해 관련 데이터셋과 벤치마크도 함께 공개했어요. 실험 결과, 강력한 모델조차 GAVEL에서 어려움을 겪는 반면, 지도 학습 기반 모델은 근거 파악 및 설명 능력에서 꾸준히 개선됐습니다.
GAVEL은 기존 VLM의 환각 및 불일치 문제를 해결하기 위해 텍스트와 이미지 정렬을 개선하는 데 목표를 두고 있습니다. 이 태스크는 불일치 감지뿐 아니라, 그 이유 설명 및 시각적 증거 지역화까지 포함합니다. 데이터셋과 벤치마크를 통해 GAVEL의 체계적인 평가를 지원합니다.
GAVEL 데이터셋에 대한 지도 학습 기반 모델은 기존 VLM의 성능을 향상시키는 효과적인 학습 신호로 작용합니다. GAVEL은 VLM의 이미지-텍스트 정렬 능력 향상에 기여할 수 있는 중요한 연구 방향을 제시합니다.