연구진이 LLM 추론 시 KV 캐시 압축을 위한 새로운 방법 FreqDepthKV를 제안했어요. 이 방법은 인접 레이어의 KV 상태를 공유 빈도 깊이 구성 요소와 희소 고빈도 잔차로 분해하여 압축률을 높여요.
온라인 프로브를 사용하여 어텐션 헤드를 공유 깊이, 잔차 깊이 또는 정확한 캐시 모드로 할당하여 프롬프트 구조에 따라 압축 정책을 조정해요.
FreqDepthKV는 32K 토큰 프리필 윈도우에서 정확히 일치율 58.3%, F1 63.0%, ROUGE-L 32.5%, pass@1 48.1%를 달성하며, 최대 3.9배의 압축률을 보여줘요.