Josh Hicks가 18GB M3 Pro에서 다양한 모델의 성능을 측정하는 벤치마크(Bench 3)를 진행했어요. 이전 벤치마크의 문제점을 개선하기 위해 새로운 프롬프트, 더 어려운 작업, 4096 토큰 예산, think:false 설정 등을 적용했어요.
결과적으로 Gemma가 전반적으로 가장 좋은 성능을 보였고, Qwen은 생각 기능 비활성화 후 성능이 크게 향상되었어요. Nemotron은 특정 프레임 내에서 강점을 보였지만, 전반적인 성능은 가장 낮았어요.
토큰당 정확도 측면에서 Nemotron이 가장 효율적이었지만, OLMo는 여전히 문제점을 드러냈으며, 향후 벤치마크에서는 더 큰 모델을 테스트할 예정이에요.