연구팀이 1분 분량의 일관성 있는 음악-춤 영상 생성 프레임워크 'Wan-Dancer'를 제안했어요. 기존 방식의 시간 제약 문제를 해결하고 장시간 영상의 시간적 일탈, 동일성 불일치, 반복적인 움직임 패턴을 개선했습니다.
Wan-Dancer는 전체 음악 맥락을 활용해 장기적인 일관성을 확보하는 글로벌 키프레임 계획과 로컬 시간적 세밀 조정 방식을 결합했어요. 시간 매핑 RoPE 임베딩을 통해 프레임 속도를 동적으로 조정하고 광학 흐름 기반 손실 함수를 적용해 움직임 연속성을 높였습니다.
연구 결과, Wan-Dancer는 720p/30fps의 1분 이상 영상을 안정적으로 생성하며 5가지 춤 장르에서 텍스트 프롬프트와 함께 오디오 조건으로 작동하는 뛰어난 성능을 보였어요.