MS-02 mini-pc에 LLM을 테스트하던 사용자가 Llama.cpp를 활용해 Qwen3, Qwen3.6, Gemma4를 시도했어요. Vulkan, SYCL, CPU 백엔드 옵션을 비교했는데, CPU 백엔드에서 가장 빠른 성능을 보였어요. 특히 Qwen 모델을 CPU에서 실행했을 때 14~16.5tk/s의 속도를 기록했어요.
SYCL 백엔드에서 Qwen3.6-35B 모델이 12tk/s의 속도를 보여줬지만, Vulkan은 상대적으로 느렸으며, 이는 ARC 기반 iGPU의 특성 때문일 가능성이 있어요. Gemma 모델은 성능이 좋지 않아 큰 의미가 없다고 판단했어요.
사용자는 iGPU와 CPU를 함께 사용할 때도 CPU 사용량이 높았으며, 효율적인 설정을 위한 조언과 더 빠른 모델/설정 조합을 찾고 있어요. Qwen 3.6 모델은 이전 버전보다 약간 느리지만, 사용해볼 가치가 있다고 판단했어요.