연구진이 StateKV라는 새로운 방법을 제시했어요. 이 방법은 장비디오 VLM을 선형 시간으로 처리하여 계산 비용과 지연 시간을 줄여요. 세 가지 벤치마크에서 StateKV는 기존 방식보다 성능이 뛰어나고, 모델 아키텍처 변경 없이도 더 큰 모델을 사용할 수 있게 해줘요.
StateKV는 중요도 기반의 순환 상태를 사용하여 프레임 간 컨텍스트를 유지하고, 디코딩을 위한 전체 프레임 캐시와 함께 사용돼요. 이를 통해 전체 자가 주의에 가까운 성능을 유지하면서도 기존 방식보다 우수한 결과를 보여줘요.
StateKV는 FLOPs 측면에서 비디오 프리필 비용을 줄여, 고정된 계산 예산 내에서 더 높은 정확도를 달성할 수 있도록 해줘요. 이는 장영상 이해를 위한 실용적인 단계로 평가돼요.