vLLM이 transformers 모델링 백엔드를 업데이트하여 Qwen3 모델의 경우 기존 vLLM 구현만큼 빠르거나 더 빠른 속도를 제공합니다.
transformers 모델을 vLLM에서 사용하는 방법은 `--model-impl transformers` 플래그 하나만 사용하면 됩니다.
새로운 백엔드는 torch.fx를 사용하여 모델 그래프를 분석하고, 최적화를 위해 코드를 수정하여 vLLM의 최적화된 커널을 활용합니다.
이 업데이트를 통해 모델 작성자는 transformers 구현을 활용하여 초고속 vLLM 추론을 무료로 사용할 수 있습니다.
linear attention을 사용하는 모델은 아직 지원되지 않지만, 곧 지원될 예정입니다.