연구진이 LLM 디코딩 시 KV 캐시 메모리 병목 현상 해결을 위해 HiKV 알고리즘과 하드웨어 공동 설계 방안을 제안했어요. HiKV는 중요도에 따른 계층적 압축을 통해 단일 방식으로 달성하기 어려운 압축률을 제공해요.
Stage I는 예산 내에서 중요하지 않은 토큰을 제거하고, Stage II는 보존된 토큰의 중요한 요소만 로드하는 방식으로 작동하며, 최대 7.95배 속도 향상과 90% 에너지 감소를 달성했어요.
기존 중요도 기반 방법 대비 외부 메모리 접근 횟수를 1.82~4.87배 줄이며, 시스템 면적은 8%만 추가돼 성능 향상 효과가 컸어요.