연구진이 VGGT의 잠재 공간에서 흐름 매칭을 수행하여 3D 장면 생성에 활용하는 새로운 방법을 제시했어요. 이 방법은 기존 VGGT의 3D 사전 지식을 활용하면서도, 특정 표현(가우시안, 메쉬 등)에 얽매이지 않아요.
리만 흐름 매칭 프레임워크를 통해 VGGT의 멀티 스케일 인코더에 맞춰 생성된 토큰이 유효한 데이터 매니폴드에 머물도록 해요. 이를 통해 RealEstate10K, ScanNet++, ETH3D 데이터셋에서 기존 3D 장면 생성 모델보다 뛰어난 성능을 달성했어요.
새로운 방법은 기하학적 기반 모델의 잠재 공간에서 흐름 매칭을 수행하는 새로운 패러다임을 제시하며, 프로젝트 페이지는 GitHub에서 확인할 수 있어요.