KVServe는 분산 LLM 서빙 환경에서 KV 캐시 압축을 최적화하는 새로운 프레임워크입니다. Bayesian Profiling Engine을 통해 압축 전략을 효율적으로 탐색하고, 서비스 환경 변화에 맞춰 실시간으로 조정합니다. vLLM에 통합되어 테스트 결과, PD 분리 서빙에서 최대 9.13배의 JCT 속도 향상, KV 분리 서빙에서 최대 32.8배의 TTFT 감소를 달성했습니다.