VideoMLA는 비디오 확산 모델에서 헤드별 키와 값을 공유 저랭크 콘텐츠 잠재와 분리된 3D-RoPE 위치 키로 대체하여 토큰당 KV 메모리를 92.7% 줄입니다.
기존 연구와 달리 VideoMLA는 사전 학습된 비디오 어텐션이 저랭크가 아니지만, 잠재 공간의 병목 현상이 효과적인 랭크를 결정한다는 것을 보여줍니다.
VBench 벤치마크에서 VideoMLA는 짧은 시간 범위에서 기존 방식과 동등한 성능을 보이며, 장기적인 관점에서 가장 높은 점수를 기록하고 처리량도 1.23배 향상시켰습니다.