Pulse · AI 뉴스

vllm v0.25.0rc3: PD 비동기 KV 로드 관련 버그 수정

vllm · 2026-07-09

vllm 프로젝트가 v0.25.0rc3 버전을 공개했어요. 이번 업데이트는 PD(Paged Attention) 비동기 KV 로드 관련 버그를 수정하는 내용이에요. MTP(Multi-Query Attention Parallelism) 스펙에서 발생하던 문제를 해결하여 성능 개선을 목표로 합니다.

PD는 긴 시퀀스 처리 시 메모리 효율성을 높이는 기술이며, KV 로드는 키-값 캐시 로딩을 의미해요.

##vllm##PagedAttention##MTP##버그픽스
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기