2013년형 듀얼 Xeon E5-2690 v2 서버에서 Gemma 4 26B-A4B Q8_0 모델을 CPU만으로 실행했어요. 디코딩 속도는 초당 약 5.2토큰, 프롬프트 평가 속도는 약 16토큰을 기록했어요.
ik_llama.cpp의 고속 경로는 AVX2·FMA3를 지원하지만, Ivy Bridge CPU는 AVX1만 지원하는 한계가 있었어요. 그럼에도 불구하고 CPU만으로 상당한 성능을 냈어요.
이 결과는 구형 하드웨어에서도 LLM을 실행할 수 있다는 가능성을 보여주며, GPU 없이도 LLM 활용의 문턱을 낮출 수 있다는 점을 시사해요.