연구진이 시각-언어 모델(VLM)의 시각적 추론 능력을 정확히 평가하기 위해 반사실적 차트 생성 프레임워크 Chartographer를 제안했어요.
Chartographer는 차트를 실행 가능한 코드로 역설계하고, 재구성 충실도를 검증하며, 시드 기반의 반사실적 변형을 생성하고, 실행 가능한 QA 로직을 통해 새로운 답변을 도출하는 기능을 제공해요.
기존 차트 QA 데이터셋에 Chartographer를 적용한 결과, VLM은 원본 차트에서 정답을 맞혔더라도 반사실적 차트에서는 실패하는 경향을 보이며, 이는 새로운 시각적 추론 경로가 필요한 경우 더욱 두드러져요.