llama.cpp 프로젝트가 k-quant 모델의 matmul 성능을 개선하는 PR을 공개했어요. M2 Pro 칩에서 Q2_K 모델의 경우 최대 2.44배 속도 향상을 보였어요. Q4_K 모델의 경우에도 1.34~1.36배의 성능 향상이 확인됐어요.
이번 개선은 k-quant 모델의 matmul 성능을 최적화하고, Q4, Q5, Q8 모델에 대한 지원을 강화하는 것을 목표로 했어요. 새로운 matmul 구현은 다양한 모델에서 성능 향상을 가져왔어요.
PR은 GitHub에 공개되었으며, 관련 정보는 링크를 통해 확인할 수 있어요.