MonoPhysics는 단안 비디오에서 변형 가능한 물체의 기하학적 정보, 외형, 물리적 파라미터를 동시에 추정하는 프레임워크입니다. 기존 방식의 스케일 모호성 문제를 해결하기 위해 3D Gaussian Splatting과 미분 가능한 MPM 시뮬레이션을 활용합니다. Vid2Sim 데이터셋과 자체 제작 데이터셋에서 기존 방식보다 뛰어난 성능을 보였으며, 다안(multi-view) 방식과 유사한 수준의 정확도를 달성했습니다.
글로벌 스케일 정렬, 물리 기반 기하학적 세밀화, 미분 가능한 위치 맵을 통해 단안 영상만으로 정확한 최적화가 가능하도록 합니다. 단안 환경에서 스케일 모호성, 부정확한 기하학적 구조, 외형 최적화와 물리 시뮬레이션 간의 약한 결합 문제를 해결합니다. 3D Gaussian Splatting을 통해 물체의 외형을 표현하고, 미분 가능한 MPM 시뮬레이션을 통해 물리적 시뮬레이션을 수행합니다.