연구진은 MLLM이 행동 이해를 통해 성격을 인지하는지, 아니면 피상적인 패턴 매칭으로 성격을 단정하는지 확인하기 위해 새로운 Grounded Personality Reasoning(GPR) 과제와 MM-OCEAN 데이터셋을 공개했어요.
MM-OCEAN 데이터셋은 1,104개의 영상과 5,320개의 객관식 문제를 포함하며, 시간 정보가 포함된 행동 관찰 및 증거 기반 성격 분석, 7가지 유형의 큐-그라운딩 객관식 문제를 제공해요.
27개의 MLLM을 벤치마크한 결과, 올바른 성격 평가의 51%가 검색된 증거에 근거하지 않는 '편견 간극'이 확인되었으며, 향후 MLLM의 사회적 인지 능력 향상을 위한 로드맵을 제시했어요.