ExLlamaV3가 1년 이상의 개발 끝에 첫 공식 버전을 출시했어요. Fable과 함께 10시간씩 개발하며 성능 개선을 이끌어냈어요. 새로운 버전은 flash-attention-2 및 xformers 의존성을 제거하고, Gemma 4를 포함한 대부분의 모델에 텐서 병렬 지원을 확장했어요.
온라인 캐시 양자화, SWA 레이어 및 어텐션 싱크를 위한 이중 입력 등 새로운 어텐션 커널을 도입하여 KV 양자화 속도 저하를 방지하고, 오히려 추론 속도를 향상시켰어요. Ampere GPU에서 GEMM/GEMV 성능도 크게 개선됐어요.
MoE 커널 티켓 스케줄러, GptOssForCausalLM, NemotronHForCausalLM 등 다양한 기능이 추가되었으며, 버그 수정 및 사용자 편의성 개선도 이루어졌어요.