연구팀이 StoryMindv2 프레임워크를 활용해 363K QA 쌍을 포함하는 대규모 DVU 데이터셋 StoryVideoQA를 구축했어요. StoryVideoQA는 TV 시리즈와 영화를 포함해 총 393.2시간 분량의 다양한 스토리 비디오로 구성돼요. 기존 VideoQA 모델들은 StoryVideoQA에서 복잡한 스토리라인 이해에 어려움을 겪는 것으로 나타났어요.
연구팀은 StoryVideoQA의 한계를 극복하기 위해 PlotTree라는 새로운 비디오 이해 에이전트를 제안했어요. PlotTree는 장거리 비디오 콘텐츠를 계층적 플롯 구조로 재구성해 효율적인 스토리라인 추론을 가능하게 해요.
StoryVideoQA는 기존 데이터셋보다 훨씬 큰 규모로, 연구자들에게 새로운 DVU 모델 개발 기회를 제공할 것으로 기대돼요. 프로젝트 페이지는 GitHub에서 확인할 수 있어요.