Pulse · AI 뉴스

KV 캐시 제거 시 구조적 보호가 핵심: 글로벌 제한 KV 제거에서 구조적 보호가 성능 좌우

Qwen · 2026-05-18

연구진은 글로벌 제한 하에서 KV 캐시 제거 정책을 연구했어요. LRU, H2O 등 7개 정책은 구조적 보호 없이 성능이 급격히 저하되는 취약점을 드러냈어요.

각 경계에서 캐시의 10%를 예약하는 것만으로도 LongBench 모델에서 최대 90%의 성능 회복이 가능했어요. 이는 256개의 캐시만 유지하는 조건에서도 나타났어요.

연구 결과, 구조적 보호가 성능에 가장 큰 영향을 미치며, 경계 보호 후에는 스코어링 방식의 차이가 미미하다는 것을 확인했어요.

##KV캐시##구조적보호##모델최적화
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기