연구팀은 현실 세계 장면에서 완전하고 시뮬레이션 가능한 객체 기하학을 복원하는 SAM3D-Phys 프레임워크를 제안했어요. 기존 다중 뷰 복원 방법은 시각적으로 정확하지만 객체가 불완전해 시뮬레이션에 적합하지 않았어요. SAM3D-Phys는 장면 복원과 생성적 3D 사전 지식을 결합해 물리적으로 시뮬레이션 가능한 객체를 복원해요.
물리 제약 기반 최적화 알고리즘과 마스크 기반 텍스처 증류 모듈을 활용해 장면과 일관된 객체 상태를 복원하며, 객체 기하학을 복원하고 위치와 외관을 복원하여 물리 기반 시뮬레이션에 적합한 표현을 생성해요. 이를 통해 현실 세계 장면 내 여러 객체의 동시 상호작용 시뮬레이션을 가능하게 해요.
프로젝트 페이지는 GitHub에 공개됐어요.