사용자가 MiMo v2.5 모델의 뛰어난 로컬 추론 속도를 경험하고 관련 정보를 공유했어요. DeepSeek v4보다 빠르며, 30B~400B 모델 간 성능 격차를 메우는 데 효과적이에요.
Bartowski IQ4_NL 모델이 품질과 속도 면에서 가장 우수했으며, UD-Q4_K_S 모델은 IQ4_NL과 비슷한 품질을 보이지만 약간 느려요.
반복적인 답변 문제를 해결하기 위해 다양한 설정을 테스트한 결과, --repeat-penalty 1.2, --repeat-last-n 128 설정이 효과적이었어요. 과도한 페널티는 모델의 사고 능력을 저해할 수 있어요.