Pulse · AI 뉴스

DepthKV: LLM 추론을 위한 레이어 의존적 KV 캐시 가지치기

DepthKV · 2026-04-28

DepthKV는 LLM의 긴 문맥 추론 성능을 향상시키기 위해 KV 캐시 가지치기 방법을 제안했어요.

기존의 균일한 가지치기 방식과 달리, DepthKV는 각 레이어의 중요도에 따라 가지치기 비율을 다르게 적용해요.

실험 결과, DepthKV는 동일한 가지치기 비율에서도 기존 방식보다 더 나은 성능을 보여줬어요.

##LLM##KV캐시##가지치기##DepthKV##최적화
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기