연구진이 MLLM의 시청각 예술 이해 능력을 평가하는 벤치마크 'MuseBench'를 공개했어요. 영화, 시각 예술, 공연 예술, 게임 예술 등 다양한 분야의 4,016개 질문으로 구성돼요.
MuseBench는 예술적 의도에 대한 추론 능력을 평가하는 데 초점을 맞췄으며, 전문가 검수를 거쳐 생성된 질문으로 구성돼 있어요.
28개의 최신 MLLM 평가 결과, 최고 성능 모델도 48.29%의 정확도를 기록해 인간 전문가(87.18%) 대비 성능 격차가 컸어요.