Pulse · AI 뉴스

ICYM: llama.cpp b9455 --SM Tensor KV Cache Fix 병합

llama.cpp · 2026-06-02

llama.cpp 프로젝트가 --SM Tensor 옵션과 양자화된 KV 캐시를 함께 사용할 수 있도록 하는 버그 수정 사항을 병합했어요.

이전에는 KV 캐시 회전에 필요한 shape 정보 손실로 인해 멀티 GPU 환경에서 문제가 발생했었어요.

이번 수정은 ggml backend meta를 확장하여 shape 정보를 유지하고 llama.cpp compute 그래프 변경 없이 문제를 해결했어요.

##llama.cpp##KV캐시##텐서##ggml
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기