Pulse · AI 뉴스

llama.cpp: ARM NVFP4 dot product에 UE4M3 LUT 활용

llama.cpp · 2026-07-06

llama.cpp 프로젝트가 ARM 환경에서 NVFP4 dot product 연산 시 UE4M3 LUT 최적화를 적용했어요.

x86과 ARM 구현체를 통일하고, 기존 GGML_CPU_UE4M3_TO_FP32 lookup 테이블을 재활용했어요.

Qwen3.5-4B 모델을 사용한 llama-bench 테스트에서 성능이 향상됐으며, 이전 PR과 비교해도 긍정적인 결과가 나타났어요.

##llama.cpp##ARM##NVFP4##UE4M3
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기