연구진은 LLM 추론 시 KV 캐시 압축 시 입력/도메인별 임계값 설정의 어려움을 지적하며, 임계값 제약 없이 성능을 유지하는 새로운 방법론을 제안했어요. 새로운 방법인 ReFreeKV는 입력에 따라 예산 할당을 적응적으로 조정하며, KV 캐시 전체 성능을 유지하는 것을 목표로 합니다. 13개 데이터셋에서 실험 결과, ReFreeKV는 기존 방식보다 효율적이고 효과적인 KV 캐시 압축 성능을 보였어요.