HVACcontrolsGuru 사용자가 M5 16GB Macbook Pro 환경에서 Gemma 4 12B 모델을 실행하는 MLX Kernel 프로젝트 코드를 공개했어요. MLX와 CUDA 라이브러리가 유사한 방식으로 모델을 처리하며, 메모리 대역폭 제한으로 인해 DSpark 모델 통합에 어려움을 겪고 있어요. 목표는 20~30 tok/s의 성능을 달성하고, NVIDIA 기반 하드웨어에서도 최적화를 진행할 예정이에요.
현재는 실험적인 단계로, Gemma 모델의 내부 작동 방식을 학습하기 위한 개인적인 용도로 사용될 예정이에요. 향후 NVIDIA 기반 하드웨어에서도 성능 최적화를 진행할 계획이에요.
MLX Kernel은 M5 칩셋의 16GB 메모리 제약 하에서 Gemma 4 12B 모델을 실행하기 위한 프로젝트로, 개인적인 사용을 위한 실험적인 코드입니다.