연구진이 MRO-GWM이라는 새로운 모델을 제안했어요. 이 모델은 3D 환경에서 강체 물체의 동작 조건을 학습합니다. 객체 중심 가우시안을 사용하여 임의의 모양과 다중 객체 장면을 표현할 수 있어요.
공간-시간 트랜스포머 아키텍처를 개발하여 객체 가우시안과 미래 동작 기록에서 미래의 강체 운동을 예측합니다. 객체는 표준 프레임에서 가우시안으로 표현되며, 이를 통해 강체 변환으로 객체 운동을 설명할 수 있어요.
다중 시점 재구성을 기반으로 훈련하여 가려짐으로 인한 객체 부분 관찰을 처리해야 합니다. 시뮬레이션 환경에서 비포착 조작을 위한 모델 예측 제어에 대한 평가도 진행했어요.