OmniDirector는 참조 영상에서 카메라 움직임을 클론링하는 새로운 프레임워크입니다. 기존 방식의 한계를 극복하기 위해 카메라를 그리드 모션 비디오로 표현하여 다양한 트랙터리를 통합한 멀티샷 비디오 생성 가능. OmniDirector는 캐릭터, 액션, 카메라를 조율하여 멀티모달 디퓨전 트랜스포머에 감독자 수준의 제어 기능을 제공합니다.
100만 규모의 카메라 그리드-비디오 페어 데이터셋으로 학습하여 복잡한 카메라 움직임 클론링 성능을 향상시켰습니다. 계층적 프롬프트 확장 에이전트를 설계하여 카메라 움직임과 시각적 콘텐츠를 체계적으로 설명하며 제어 신호 간의 관계를 이해합니다.
프로젝트 페이지에서 자세한 내용 확인 가능합니다.