Pulse · AI 뉴스

비드래프트, LLM 추론 가속 엔진 ‘VKAE’ 리더보드·통합 컨테이너 공개

비드래프트 · 2026-07-06

비드래프트가 자체 개발한 LLM 추론 가속 엔진 ‘VKAE’의 성능 리더보드를 공개하고, 모델 가중치와 최적화된 서빙 환경을 통합 컨테이너로 배포했어요.

VKAE는 동일 GPU 환경에서 표준 서빙 대비 최대 23.4배 높은 추론 처리량을 기록하며, OpenAI 호환 API를 지원해 기존 서비스에 빠르게 통합 가능해요.

엔비디아 B200 GPU 환경에서 Qwen3.5-35B-A3B 모델을 활용 시 초당 최대 601토큰을 생성했으며, 다중 요청 처리 시에는 초당 1만 토큰 이상의 처리량을 기록했어요.

##LLM##추론가속##VKAE##비드래프트##GPU
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기