본 연구는 다양한 문서 도메인에서 문서 기반 시각 질의응답(DocVQA) 성능을 평가합니다. 산업 문서, 인포그래픽, 프레젠테이션 슬라이드 3가지 도메인에서 8개의 오픈소스 VLMs를 분석했어요. 제로샷 평가, 완전 감독 학습, 소량 학습을 통해 모델의 지식 전달 능력을 검증했어요. 인포그래픽과 슬라이드처럼 시각적으로 복잡한 레이아웃에서 성능이 저하되는 경향을 확인했어요.
모델 크기가 성능에 중요한 영향을 미치지만, 감독 학습을 통해 작은 모델의 성능 향상 효과가 더 컸어요. 시각적 이해가 DocVQA의 주요 병목 현상이며, VLM의 지식 부족이 아니라는 점을 발견했어요.
50개의 타겟 도메인 샘플을 활용한 소량 학습을 통해 모델은 빠르게 적응하며, 완전 감독 학습 모델을 능가하는 경우도 발생했어요. 본 연구는 문서 기반 시각 질의응답 모델의 성능 향상을 위한 방향을 제시합니다.