llama.cpp 개발자가 KV 캐시 디코딩 속도를 높이는 트릭을 공개했어요. 이 기능은 모델이 응답 토큰을 생성할 때마다 다시 KV 캐시에 전송하여 프롬프트를 다시 입력하지 않고도 디코딩을 시작할 수 있도록 합니다.
OpenWebUI에서 Qwen 모델이 대량의 웹페이지를 읽을 때 프롬프트 처리 시간이 5~30초 정도 걸렸지만, 이 기능을 활성화한 후에는 거의 즉시 처리됩니다.
현재까지 눈에 띄는 성능 저하 없이 일반적인 응답성을 크게 향상시키는 것으로 확인되었으며, MTP 패치를 사용하는 사용자에게 더욱 효과적일 것으로 예상됩니다.