vllm 프로젝트가 v0.25.0rc2 버전을 공개했어요. Transformers 모델링 백엔드에서 CUDA 그래프 관련 문제를 해결하고 임베딩 스케일링을 수정했어요. 이번 업데이트는 특히 대규모 언어 모델 추론 속도 향상에 도움이 될 수 있으며, CUDA 환경에서 vllm을 사용하는 사용자에게 긍정적인 영향을 미칠 것으로 보입니다.