LordNeel이 Tencent의 Hy3 (295B MoE) 및 NVIDIA의 Nemotron-Labs-Audex-30B-A3B (오디오 지원 30B MoE) GGUF 양자화 세트를 공개했어요. 두 세트 모두 imatrix 양자화 방식으로 처리되었으며, BF16 기준 성능을 측정하고 llama-bench 처리량 정보를 제공합니다.
Hy3는 21B 활성 파라미터를 가진 295B MoE 모델로, Q6_K는 거의 손실 없는 품질을 제공하며, Q4_K_M은 2개의 96GB GPU에 적합한 합리적인 기본 옵션입니다. Nemotron-Labs-Audex-30B-A3B는 텍스트 및 오디오 기능을 모두 지원하며, MXFP4_MOE는 가장 작은 파일 크기와 빠른 처리 속도를 제공합니다.
두 모델 모두 NVIDIA OneWay Noncommercial 라이선스를 따르며, llama.cpp를 통해 텍스트만 사용할 수 있고, 오디오 파이프라인은 별도의 사이드카 및 NVIDIA 스크립트가 필요합니다.