RTX 5090 사용자가 llama.cpp로 동적 KV 캐시 양자화 및 온디맨드 mmproj/MTP 구현을 제안했어요. 현재 모델 설정을 변경하는 데 시간이 오래 걸려, KV 캐시 양자화 및 mmproj/MTP 전환을 빠르게 할 수 있는 기능에 대한 필요성을 느꼈어요.
llama.cpp PR (pull request) 24134를 통해 KV 캐시를 원하는 양자화 방식으로 재량적으로 변경하는 HTTP 엔드포인트를 구현했어요. 이를 통해 세션 중간에 모델을 다시 로드하는 것보다 빠르게 메모리 제한에 대응할 수 있어요.
향후 mmproj 로드/언로드 기능, 자동 KV 캐시 양자화 CLI 플래그, 온디맨드 프롬프트 처리 기능 추가를 희망하며, llama.cpp 유지 관리자의 검토를 기다리고 있어요.