Pulse · AI 뉴스

MTP 디코딩, Kepler/Maxwell/Pascal/Turing GPU 지원 패치

llama.cpp · 2026-07-15

llama.cpp의 멀티 토큰 예측(MTP) 구현 시 BF16 미지원 GPU에서 cuBLAS 충돌이 발생했습니다.

Kepler GPU를 포함한 구형 아키텍처에서 MTP가 작동하도록 CUDA 백엔드 패치가 적용됐습니다.

Qwen3.6 35B 모델을 Tesla K40c에서 테스트한 결과, MTP 활성화 시 토큰 생성 속도가 향상됐습니다.

##llama.cpp##MTP##GPU##Kepler
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기