Litespark Inference는 LLM 추론을 위한 새로운 오픈소스 엔진으로, 소비자 CPU에서 실행 가능하도록 설계되었습니다.
Ternary 모델의 특징을 활용하여 SIMD 커널을 통해 행렬 곱셈을 단순화하여 최대 9.2배 빠른 응답 속도와 52배 향상된 처리량을 제공합니다.
Hugging Face와 통합되어 PyTorch 추론 대비 14배 더 적은 메모리를 사용하며, Apple Silicon, Intel, AMD 프로세서에서 유사한 성능 향상을 보입니다.