연구진은 VLM 에이전트의 공간 추론-행동 능력을 평가하는 시뮬레이션 기반 벤치마크 SpatialAct을 공개했어요. SpatialAct은 다중 회전 상호작용 수정부터 단계별 오류 감지 및 수정까지 다양한 난이도의 공간 추론 작업을 포함합니다.
실험 결과, 현재 VLM은 개별 공간 추론 작업에서는 좋은 성능을 보이지만, 다중 회전 피드백 상황에서 일관성 있는 공간적 믿음을 유지하고 신뢰성 있는 행동을 수행하는 데 어려움을 겪는 것으로 나타났어요.
연구 결과는 현재 VLM 에이전트가 행동으로 인한 환경 변화에 대한 강력한 공간 상태 추적 능력이 부족하다는 점을 시사하며, 추론과 행동 간의 격차를 보여줍니다.