Spiritbuun의 llama.cpp 포크에서 VBR(가변 비트 레이트) KV 캐시 기능이 새롭게 추가됐습니다. 이 기능은 VRAM 사용량을 고려하여 KV 캐시의 정밀도를 동적으로 조절해 최대 컨텍스트 길이를 늘립니다.
VBR은 KV 캐시의 최소 정밀도(turbo3_tcq)를 설정하고, 컨텍스트가 증가함에 따라 turbo8, turbo4, 3_tcq, 2_tcq, 1_tcq 순으로 정밀도를 낮춰 VRAM 예산을 준수합니다.
RTX 3060 12GB 환경에서 Qwen3.6-35B 모델을 사용할 때 VBR은 고정된 turbo8/turbo4 설정보다 TPS는 약 4% 느리지만, TTFT는 거의 절반으로 줄고 VRAM 사용량도 감소합니다.