연구진이 복잡한 창작 요구를 충족하는 새로운 동영상 편집 데이터셋 'Goku'를 공개했어요. Goku는 200만 개의 고품질 동영상 편집 페어 데이터로, 단순 외관 편집에서 벗어나 피사체 움직임 제어와 같은 구조적 조작까지 지원해요.
데이터 합성 과정에서 복잡한 편집을 세분화하고 데이터 신뢰성을 위한 필터링 시스템을 도입했으며, 'Goku-Edit' 모델을 제안하여 MLLM 기반 텍스트 인코더와 분리된 이중 브랜치 구조를 활용했어요.
Goku-Bench 벤치마크를 통해 Goku-Edit는 기존 오픈소스 모델 대비 지시 준수율에서 최대 8% 향상된 성능을 보였으며, 7가지 새로운 편집 관련 지표를 포함하고 있어요.