연구진은 다중 로봇 협업 시점 기반 공간 추론 문제를 연구했어요. 이를 위해 CoopSR 벤치마크와 EgoTeam 데이터셋을 새롭게 공개했어요. SP-CoR이라는 MLLM 프레임워크를 제안하여 로봇의 자세 정보를 활용한 추론을 가능하게 했어요. SP-CoR은 기존 모델보다 Habitat에서 +3.87%, iGibson에서 +7.12% 성능 향상을 보였어요.
EgoTeam 데이터셋은 114,227개의 QA 페어를 포함하며, 다양한 난이도와 로봇 팀 규모를 지원해요. 실제 로봇을 활용한 테스트 세트도 포함되어 있어 현실 세계 적용 가능성을 검증했어요.
SP-CoR은 동역학 기반 로봇 프레임 샘플링, 스펙트럼 및 물리 기반 뷰 퓨전, 물리 기반 프롬프트 증류 기술을 결합했어요. 이를 통해 로봇 자세 정보를 활용하여 학습하면서도 테스트 시에는 로봇 시점 영상만으로 추론이 가능해요.
연구 결과, SP-CoR은 다양한 MLLM 기반 모델들을 능가하는 성능을 보여주며, 새로운 로봇 팀 규모와 실제 로봇 테스트에서도 강한 일반화 능력을 입증했어요.