맥북 에어 M5에서 21개의 로컬 LLM을 벤치마크하여 코드 품질과 속도를 비교 분석한 결과가 공개됐어요. 164개의 코딩 문제에 대한 평가를 통해 모델별 성능을 객관적으로 측정하고, 동일한 조건에서 테스트를 진행했어요.
Qwen 3.6 35B-A3B 모델이 89.6%의 높은 정확도를 기록하며 가장 우수한 성능을 보였고, MoE 아키텍처 덕분에 빠른 속도도 유지했어요. 8GB RAM 환경에서 일상적인 코딩 지원을 위한 최적의 모델은 Qwen 2.5 Coder 7B로 나타났어요.
Gemma 4 모델의 성능이 예상보다 낮게 나와 추가적인 분석이 필요하며, Phi 4 Mini 3.8B 모델은 작은 크기에도 불구하고 뛰어난 성능을 보여주는 등 흥미로운 결과들이 도출됐어요.