연구진은 시각-언어 모델(VLM)의 차트-데이터 추출 성능을 평가하는 새로운 벤치마크인 EpiCurveBench를 공개했어요. 이 벤치마크는 다양한 공공 보건 출처에서 수집한 1,000개의 실제 역학 곡선 이미지로 구성돼 있어요.
EpiCurveSimilarity(ECS)라는 새로운 평가 지표를 도입하여 시간적 구조를 고려하고 작은 정렬 오류도 과도하게 penalize하지 않도록 설계했어요. 기존 방식보다 시간적 이동과 공백을 허용하고 이를 비례적으로 penalize합니다.
EpiCurveBench 평가 결과, 현재 최고 성능 모델도 52.3%의 ECS를 기록했으며, ECS 지표는 일반적인 VLM 간 성능 차이를 25점으로 확대하여 기존 지표(RMS, SCRM)의 5점 밴드보다 더 정확한 평가를 제공합니다.