스냅드래곤 8 Elite (gen 4) 탑재 스마트폰(Honor magic 7 pro)에서 LLM을 사용한 경험을 공유하며, 24GB RAM으로 MOE 모델을 실행하는 방법을 소개했어요.
Hexagon NPU와 OpenclGPU 지원이 빠르지만, 현재는 CPU가 가장 빠른 처리 속도를 보이며, 발열이 있다는 단점이 있어요.
IQ4_XS와 MXFP4_MOE 모델을 추천하며, Qwen3.6/3.5-35b-A3B, Gemma-4-a4b-26b 등 다양한 모델을 사용해봤다고 해요.
LFM-24b-a2b 모델은 빠르고 작으면서도 지능이 뛰어나며, 더 많은 A2b 및 A1b 모델 출시를 요청했어요.