AKMessi가 Kivarro라는 오픈소스 로컬 LLM 추론 벤치마크를 개발했어요. GGUF 모델을 llama.cpp로 실행하고 프로필 전환, 모델 등록, 런타임 제어 기능을 제공해요.
Kivarro는 런타임 제어 숨기기나 프로필/모델 전환 시 불편함을 개선하기 위해 만들어졌어요. 현재 v0.1 알파 버전으로, 사용자 피드백을 기다리고 있어요.
Windows 빌드는 바로 사용 가능하며, macOS/Linux 패키징은 추가 테스트가 필요해요. GitHub에서 레포지토리를 확인할 수 있어요.