KV 캐시 증가가 autoregressive decoding의 주요 병목 현상으로, 메모리와 대역폭이 컨텍스트 길이와 선형적으로 증가합니다. KVpop은 keep-or-drop 결정을 직접 감독하여 고정 예산 KV 퇴거 정책을 학습합니다. 향후 어텐션 신호로 감독함으로써 메모리 비용을 줄이면서 품질을 유지할 수 있습니다.
KVpop은 AIME 및 HMMT 수학적 추론에서 Qwen3-4B 모델이 75%의 KV 캐시 압축 시 98%의 전체 어텐션 성능을 유지하고 88% 압축 시 기존 퇴거 기준 성능을 능가합니다. Qwen3-8B 모델은 더욱 강력한 결과를 보여, 거의 완벽한 교사 성능을 달성했습니다.
KVpop은 기존 퇴거 방법과 달리 미래 어텐션 타겟을 효율적으로 계산하여 학습하고, 고유한 지연 메모리 기반 스코어를 통해 일정 단계를 지연하여 미래 컨텍스트를 활용합니다.