연구진이 3D 포인트 트랙을 활용한 비디오 생성 기술 Track2View를 개발했어요. 이 기술은 새로운 카메라 시점에서 기존 비디오를 재렌더링할 때 일관성을 유지하는 데 초점을 맞췄어요. Track2View는 시공간적 대응 관계를 명시적으로 연결하여 시각적 품질, 뷰 동기화, 카메라 정확도 측면에서 최고 성능을 달성했어요. 프로젝트 페이지는 GitHub에서 확인할 수 있어요.
Track2View는 기존 방법의 한계를 극복하기 위해 paired 3D 포인트 트랙을 활용하여 시각적 맥락을 전달하고 시간적 일관성을 보장해요. 이 기술은 임의의 카메라 경로에 대한 일반화가 가능하며 특정 동작을 암기하지 않아요. 연구진은 데이터 큐레이션 파이프라인을 통해 일대일 트랙 대응 관계를 추출했어요.
Track2View는 400개의 영상 벤치마크에서 회전 오류를 기존 대비 30~65% 줄이고, 이동 오류를 61~72% 줄이는 성능을 보였어요. 이 기술은 정적 및 동적 장면 모두에서 뛰어난 결과를 제공하며, 시각적 품질과 뷰 동기화, 카메라 정확도를 향상시켰어요.