연구진이 물리 기반 3D Gaussian 월드 모델과 미래 예측 기능이 있는 액션 정책 모델을 결합한 PhysMani 프레임워크를 제안했어요. PhysMani는 온라인 최적화를 통해 빠른 물리 기반 미래 동역학 예측을 위한 divergence-free Gaussian 속도장을 학습해요. PhysMani-Bench라는 동적 조작 벤치마크에서 기존 모델 대비 높은 성공률을 기록했어요.
PhysMani-Bench는 16개의 작업으로 구성되어 있으며, 시뮬레이션과 실제 로봇 실험 모두에서 기존 모델보다 우수한 성능을 보여줘요. 학습된 3D 장면의 미래 동역학을 정책 모델에 통합하기 위해 learnable 토큰 기반 크로스 어텐션 모듈을 사용해요.
PhysMani는 기존 모델의 3D 기하학적 정확도와 물리적 의미 예측의 한계를 극복하고, 복잡한 3D 환경에서 빠르게 움직이는 물체를 조작하는 데 어려움을 해결하는 데 기여할 것으로 기대돼요.