Pulse · AI 뉴스

KVEraser: KV 캐시 편집을 통한 효율적인 컨텍스트 삭제

KVEraser · 2026-06-16

연구진은 KV 캐시 편집 방법인 KVEraser를 소개하며, 컨텍스트 삭제 시 발생하는 글로벌 영향 문제를 해결하고자 했습니다.

KVEraser는 삭제 구간의 KV 상태만 학습된 steering 상태로 대체하여 나머지 캐시는 재사용하며, 두 단계 학습 파이프라인을 통해 효과를 높였습니다.

실험 결과, KVEraser는 1K~32K 컨텍스트 길이에서 전체 재계산에 준하는 성능을 보이며, 24%의 낮은 지연 시간 증가로 효율성을 입증했습니다.

##LLM##KV캐시##컨텍스트삭제##KVEraser##효율성
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기