BEAT는 음악과 영상의 유연한 조화를 통해 영화 예고편을 자동으로 생성하는 프레임워크입니다. 기존 방식의 경직된 방식에서 벗어나, 음악의 다이내믹에 맞춰 영상 편집 리듬을 조절합니다. 핵심 구성 요소인 MuVA와 Bar-DP를 통해 음악과 영상의 정렬을 최적화하고, TrailerArena 벤치마크에서 최고 성능을 달성했습니다.
BEAT는 음악-시각 정렬 인코더 MuVA와 에너지 적응형 동적 프로그래밍 알고리즘 Bar-DP를 활용하여 영상과 음악을 유연하게 연결합니다. 이 과정에서 학습된 교차 모달 특징을 기반으로 5단계 에이전트 파이프라인을 구축하여 창의적인 의사 결정을 조율합니다.
TrailerArena 벤치마크에서 BEAT는 20개 이상의 지표에서 최고 성능을 기록하며, 샷 선택, 순서, 시각적 품질 측면에서 뛰어난 결과물을 보여주었습니다. 이를 통해 완전한 예고편을 엔드투엔드 방식으로 제작할 수 있습니다.