연구진이 단안 비디오에서 자유롭게 렌더링 가능한 동적 3D 가우시안 표현을 생성하는 방법 'World from Motion'을 발표했어요. 이 방법은 초기 재구성을 수정하고 누락된 영역을 채우기 위해 입력 및 대상 카메라 트래커리를 따라 밀집된 픽셀 정렬 렌더링을 활용해요. 새로운 관점 합성 및 3D 모션 개선을 위해 모델 생성을 증류하여 일관성 있고 고품질의 동적 3D 가우시안으로 만들 수 있어요.
연구팀은 정렬된 다중 뷰 비디오 쌍과 동적 3D 가우시안 표현 데이터셋을 구축하여 모델을 학습시켰으며, 단안 재구축의 특징적인 시뮬레이션 아티팩트를 포함했어요. 새로운 관점과 모션을 포함하는 영역을 모델에 통합하여 4D 재구축 분야의 새로운 기준을 제시했어요.
World from Motion은 광범위한 시점 변화와 동적 움직임이 있는 야생 비디오에도 원활하게 적용 가능하며, 3D 모션과 새로운 뷰 합성을 개선하는 데 기여해요.