Pulse · AI 뉴스

ReFreeKV: LLM 추론 시 KV 캐시 압축을 위한 임계값 없는 새로운 방법

ReFreeKV · 2026-06-26

연구진은 LLM 추론 시 KV 캐시 압축 시 입력/도메인별 임계값 설정의 한계를 지적했어요.

ReFreeKV는 임계값 의존성을 없애고 입력에 따라 예산 배분을 적응적으로 조절하는 ‘임계값 없는’ 방법론을 제안했어요.

13개 데이터셋 실험 결과, 기존 방식보다 성능과 효율성을 입증하며 GitHub에서 코드가 공개됐어요.

##LLM##KV캐시##압축##ReFreeKV##최적화
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기