Pulse · AI 뉴스

KVDrive: LLM 추론을 위한 다계층 KV 캐시 관리 시스템

KVDrive · 2026-05-18

KVDrive는 GPU 메모리, 호스트 DRAM, SSD를 아우르는 다계층 KV 캐시 관리 시스템입니다.

기존 방식과 달리 알고리즘 개선 대신 시스템 관점에서 캐시 배치, 파이프라인 스케줄링, 계층 간 조율을 최적화합니다.

KVDrive는 주의 메커니즘에 맞춰 캐시 관리를 조정하고, 파이프라인을 재구성하며, 메모리 계층 간 데이터 이동을 조화시켜 GPU 및 DRAM 제한을 넘어선 장문 컨텍스트 추론을 가능하게 합니다.

##LLM##KV캐시##추론##최적화##KVDrive
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기