연구진은 시각-언어 모델(VLM)에서 맥락 편향성을 평가하기 위한 새로운 도구 ENTRAP-VL을 공개했어요. 기존 텍스트 기반 벤치마크를 그대로 적용하는 대신, 이미지와 텍스트 모두를 고려한 이중 모달성 평가가 필요하다고 강조했어요.
ENTRAP-VL은 텍스트와 이미지 맥락 모두에 의해 독립적으로 작동하는 이중 편향 현상을 측정하고, 세계적으로 가능하지만 묘사된 장면과는 다른 맥락을 구분하는 데 중점을 둬요.
총 1,500개 항목으로 구성된 데이터셋은 텍스트 편향성(8개 조건)과 시각 편향성(3개 조건) 스트림으로 나뉘며, 연구진은 이 도구를 통해 VLM의 맥락 편향성 현상을 엄밀하게 조사할 수 있도록 평가 프로토콜을 제공할 예정이에요.