퀄컴이 윈도우 노트북에서 LLM을 실행할 수 있는 GenieX를 출시했어요. SDK를 통해 제미니 4 26B 모델을 GPU/NPU에서 초당 20토큰으로 실행 가능합니다. 퀄컴은 LLM 개발 경쟁에 뒤쳐졌던 만큼, 이번 출시로 시장 경쟁력을 확보할 것으로 보입니다.
llama.cpp를 사용하면 CPU/GPU/NPU에서 Qwen 3.6 27B 모델도 실행할 수 있어요. 첫 토큰 처리 시간은 0.5초입니다. 퀄컴의 GenieX는 LLM 개발자들에게 새로운 옵션을 제공할 것으로 기대됩니다.