연구진이 시각-언어 모델(VLM)의 맥락 편향성을 평가하기 위한 새로운 도구 ENTRAP-VL을 공개했어요. 맥락 편향성은 모델이 입력의 부가적인 맥락에 영향을 받는 경향을 의미하며, 기존에는 텍스트 모델에서 주로 연구되었어요.
ENTRAP-VL은 이미지와 텍스트 맥락을 모두 고려한 이중 모드 방식으로 설계되었으며, 총 1,500개의 항목으로 구성되어 있어요. 텍스트 편향성 스트림은 8가지 조건, 시각 편향성 스트림은 3가지 조건으로 나뉘어 구성돼요.
연구진은 ENTRAP-VL을 통해 VLM의 맥락 편향성을 엄밀하게 조사할 수 있는 기반을 마련하고, 데이터셋과 관련 문서를 공개할 예정이에요.