연구진은 3D 객체 운동 시뮬레이션을 위한 새로운 프레임워크 'NeuROK'를 제안했어요. NeuROK는 객체 중심 물리 시스템의 운동 상태를 데이터 기반으로 학습하여 현실적인 4D 동역학을 생성합니다. 기존 방식의 물리 모델 의존성 문제를 해결하고 다양한 객체에 적용 가능하며, 기존 연구 대비 우수한 성능을 보입니다.
연구진은 Lagrangian 역학 관점에서 저차원 잠재 공간 내에서만 동역학을 고려하여 시뮬레이션 과정을 단순화했어요. 이를 위해 Transformer 기반 인코더-디코더 모델을 활용하여 대규모 4D 데이터셋을 학습했습니다. NeuROK 프로젝트 페이지는 chen-geng.com에서 확인할 수 있습니다.
NeuROK는 3D 세계 모델 구축에 중요한 현실적인 시간 변형을 생성하는 데 기여하며, 데이터 기반 운동 상태 매개변수화를 통해 객체 중심 물리 시스템을 효과적으로 모델링합니다.