연구진이 과학 시각화 이해 능력 평가 테스트를 통해 6개의 MLLM을 벤치마크했어요. Gemini 모델은 인간 평균을 넘어서는 뛰어난 성능을 보였지만, 오픈소스 모델은 인간 평균 이하의 결과를 냈어요. 모델들은 질감 기반 시각화와 정량적 추정에서 어려움을 겪는 것으로 나타났어요.
Gemini는 과학 일러스트레이션, 검색, 공간 이해 능력에서 강점을 보였지만, 유량 방향 해석과 정밀한 정량적 추정에서는 실패하는 경향이 있었어요. 연구 결과는 MLLM 평가 시 과학 시각화 이해 능력이 중요한 지표임을 보여줘요.
벤치마크 코드와 모델 출력은 GitHub에서 공개되었으며, 향후 MLLM의 과학 시각화 이해 능력 평가 기준 마련에 기여할 것으로 기대돼요.