연구진이 시각 문서 이해 모델의 실패 원인을 분석하기 위해 문서 길이, 레이아웃 복잡성, 모달성, 질문 난이도를 체계적으로 제어하는 합성 벤치마크 SynthDocBench를 공개했어요.
SynthDocBench는 LLM 파이프라인을 통해 6가지 레이아웃 유형으로 문서를 생성하며, 모델이 패턴을 암기하는 것을 방지하기 위해 40%의 무작위 변형을 적용했어요.
7개의 최첨단 VLM을 평가한 결과, 문서 길이 증가에 따른 성능 저하, 문서 중앙부의 위치 감도, 차트 이해 능력 저하 등 기존 벤치마크로는 파악하기 어려운 3가지 실패 모드를 발견했어요.