본 연구는 LLM 서빙 시스템의 KV 캐시 최적화에 집중합니다. KV 캐시는 autoregressive decoding 과정에서 KV 텐서를 저장하여 저지연, 고처리량 LLM 추론을 가능하게 합니다. 연구에서는 실행 및 스케줄링, 배치 및 마이그레이션, 표현 및 보존의 세 가지 측면에서 시스템 행동 관점에서 KV 인프라를 분석합니다.
기존 연구를 체계적으로 정리하고, 행동 간의 연관성 및 목표와의 연결성을 분석하여 LLM 서빙 인프라의 KV 캐시 설계 혁신 기회를 제시합니다. 이는 빠르게 변화하는 분야를 이해하고 발전시키는 데 기여할 것입니다.
본 연구는 LLM 서빙 인프라에서 KV 캐시 설계의 기초를 제공하며, 효율적인 LLM 서빙을 위한 시스템 행동 관점의 중요성을 강조합니다.