AKMessi가 로컬 LLM 추론을 위한 올인원 벤치마크 Kivarro를 공개했어요. GGUF, safetensors, bin, mlx 파일 등 다양한 모델 파일을 관리하고 llama.cpp, mistral.rs 백엔드 옵션을 지원해요. 현재는 비상업용 라이선스로 소스 공개되었으며, 사용자 피드백을 통해 개선될 예정이에요.
Kivarro는 모델 적합성 확인, 튜닝, API 노출, 벤치마크, RAG 테스트, 프로필 저장 등 다양한 기능을 제공하는 것을 목표로 하고 있어요. RAM, 컨텍스트, 토큰/초당 처리량 등 하드웨어 적합성 및 성능 정보를 실시간으로 보여줘요.
사용자는 GitHub 저장소를 통해 Kivarro를 다운로드하고, 누락된 기능, 유용한 기능, 적절한 튜닝 컨트롤, 메모리/컨텍스트 정보 등에 대한 피드백을 제공할 수 있어요.