연구진이 MLLM의 공간 추론 능력을 평가하는 ReasonMatch-Bench를 발표했어요. 현재 MLLM은 세밀한 광범위 기준 일치에서 어려움을 겪으며, 인간 평가자는 84.0의 F1 점수를 기록하는 반면, 최고 성능 모델은 37.2에 불과해요.
연구진은 대규모 비디오-3D 데이터에서 광범위한 기준 뷰 페어를 자동으로 추출하는 데이터 생성 파이프라인을 구축했어요. 이를 통해 검증 가능한 감독을 제공하고, MLLM의 WBM 훈련을 개선했어요.
Dynamic Correspondence Reinforcement Learning (DCRL)은 이미지 수준의 시점 진행과 점 수준의 일치 커리큘럼을 결합하여 CoT 감독 없이 검증 가능한 보상을 통해 WBM 훈련을 개선하며, 일반적인 시각적 이해 성능을 유지하고 여러 벤치마크에서 소폭 개선했어요.