연구진은 차트, 이미지, 캡션이 과학적 주장을 전달하는 다중 양식 단위라고 보고, 이들을 연결하는 추론 유형을 R1부터 R5까지 5단계로 분류했어요.
각 단계는 차트와 이미지가 데이터를 재진술하거나, 이미지를 정량화하거나, 이미지를 외부 변수에 투영하거나, 서로 단독으로는 구축할 수 없는 프레임을 공동으로 구축하는 등 다양한 해석적 작업을 요구해요.
연구진은 뇌과학 전문가와 함께 79편의 외상성 뇌손상 논문에서 32쌍의 차트-이미지 페어를 분석하여 유형론을 개발하고, 비전-언어 모델(VLM) 설명에 대한 전문가와 일반인의 판단 일치도를 분석했어요.
이 유형론은 차트-이미지 페어 설계자가 텍스트와 시각 자료의 균형을 맞추고, 전문가와 일반인 간의 이해 격차를 줄이는 데 도움이 될 수 있어요.