Mistral.rs 팀이 v0.9.0 업데이트를 공개하며, Qwen3 4B Q4_K 모델에서 x86 및 ARM 환경에서 Llama.cpp보다 최대 1.8배 빠른 CPU 디코딩 성능을 보여줬습니다.
이번 업데이트는 모든 모델에 대한 일반적인 속도 향상을 위해 세밀한 수준에서 최적화되었으며, AVX2/AVX512, NEON 등 다양한 CPU 아키텍처에 적용됩니다.
자세한 내용은 GitHub 보고서를 통해 확인할 수 있으며, Mac/Linux는 curl, Windows는 PowerShell을 통해 쉽게 설치할 수 있습니다.