인텔에서 고정밀 저비트 LLM 추론을 위한 새로운 양자화 알고리즘 'auto-round'을 GitHub을 통해 공개했어요. CPU, XPU, CUDA 등 다양한 하드웨어 환경에 최적화되었으며, vLLM, SGLang, Transformers와 완벽하게 호환돼요. 다중 데이터 타입 지원을 통해 다양한 LLM 모델에 적용할 수 있으며, 높은 정확도를 유지하면서도 추론 성능을 향상시킬 수 있어요.