ChartFI 벤치마크는 다국어 모델(MLLM)의 차트 설명 충실도와 통찰력을 평가하기 위해 개발됐어요. 기존 벤치마크의 한계를 극복하기 위해 시각적으로 복잡하고 의미가 풍부한 차트와 설명을 포함하는 896개의 차트-설명 쌍으로 구성됐어요.
Faithfulness, Coverage, Informativeness, Acuity라는 4가지 평가 지표를 설계해 차트 설명의 품질을 다차원적으로 평가하며, 기존 모델의 약점을 파악하는 데 활용돼요.
실험 결과, 현재 MLLM은 차트 설명에서 사실 정확성, 핵심 특징 강조, 도메인 지식 반영, 차트-텍스트 상호 보완 등에서 개선이 필요한 것으로 나타났어요.