연구진은 MLLM의 시각적 감정 지능 평가 부족 문제를 해결하기 위해 Emotion Statement Judgement(ESJ)라는 새로운 평가 방식을 제시했어요.
ESJ는 MLLM의 표현력을 유지하면서도 판별 가능한 판단으로 출력을 제한하는 방식이며, INSETS 파이프라인을 통해 대규모 데이터셋 구축을 지원해요.
MVEI 벤치마크를 통해 다양한 MLLM을 평가한 결과, 현재 인공 시각적 감정 지능의 세부적인 현황을 파악하고 EmObserver라는 감정 지향 MLLM을 개발했어요.