DepthWeave-KV는 장문 컨텍스트 언어 모델 추론 시 KV 캐시 압축을 위한 새로운 방법으로, 레이어 또는 토큰에 균일한 예산을 적용하는 기존 방식의 한계를 극복합니다.
토큰별 잔차를 유지하며 인접한 트랜스포머 레이어에서 키와 값을 공유 저랭크 채널 베이스로 인수분해하고, 토큰 조건부 깊이 라우터를 사용하여 중요 토큰에 더 높은 재구성 랭크를 할당합니다.
DepthWeave-KV는 8.3배의 KV 메모리 감소와 72.8 토큰/초의 속도 향상을 달성하며, 기존 압축 캐시에 비해 평균 점수와 검색 정확도를 향상시켰습니다.