Llama-Server에서 KV 캐시가 프로세스 재시작 시 손실되는 문제점이 발견돼, 사용자가 이전에 미리 로드했던 컨텍스트를 다시 불러올 때마다 초기화되는 현상이 발생했어요.
이 문제는 slot.prompt.checkpoints 메타데이터가 프로세스 메모리에만 저장되어 재시작 시 사라지기 때문이었으며, 이를 해결하기 위해 체크포인트 목록을 사이드카 파일에 저장하는 방식이 적용됐어요.
새로운 방식은 상태 복구 시간을 단축하고, 기존 방식과 호환성을 유지하며, 다양한 모델에서 정상적으로 작동하는 것을 확인했으며, 관련 수정 사항은 llama-cpp-turboquant 포크에 PR로 제출됐어요.