연구진은 단일 카메라로 촬영된 원본 비디오를 특정 카메라 경로를 따라 새로운 시점에서 생성하는 문제를 해결하기 위해 MVTrack4Gen 프레임워크를 제안했어요.
MVTrack4Gen은 다중 시점 추적을 활용하여 카메라 조건화 기반의 새로운 시점 비디오 확산 모델을 훈련하며, 이를 통해 원본 비디오의 움직임과 일관성을 유지해요.
특정 어텐션 레이어가 시점 간의 대응 관계를 학습하고, 이 관계의 불일치가 움직임 불일치를 야기한다는 점을 발견하여, 다중 시점 추적 헤드를 추가하여 훈련했어요.