연구진은 긴 영상에서 중요한 순간을 포착하는 Swift Sampling 알고리즘을 개발했어요. 이 알고리즘은 영상의 시각적 특징 변화를 예측하고, 예측에서 벗어나는 순간을 '시간적 놀라움'으로 판단하여 샘플링해요. 기존 방식 대비 연산 비용이 30배 저렴하고, 다양한 벤치마크에서 우수한 성능을 보여요.
Swift Sampling은 영상의 시각적 특징을 잠재 공간에서 모델링하고, Taylor 급수를 활용하여 다음 프레임을 예측합니다. 예측 경로에서 벗어나는 프레임을 시간적 놀라움으로 선택하여 샘플링하며, 기존 방식보다 가볍고 효율적이에요.
세 가지 긴 영상 질의응답 벤치마크와 10가지 하위 작업에서 Swift Sampling은 균일 샘플링 및 기존 방식보다 성능이 뛰어나며, 프레임 예산이 제한적인 긴 영상에서 정확도를 최대 12.5% 향상시킬 수 있어요.