Mix-Quant는 에이전트 LLM 추론의 병목 현상인 프리필링 단계를 가속화하는 프레임워크입니다. 프리필링 단계는 양자화에 대한 여유가 있어 FP4로 양자화해도 정확도 손실이 적습니다. 프리필링은 NVFP4 양자화, 디코딩은 BF16 정밀도를 유지하여 프리필링 가속과 디코딩 품질을 분리합니다.
Mix-Quant는 장문 컨텍스트와 에이전트 벤치마크에서 최대 3배의 프리필링 속도 향상을 달성했습니다. 기존 성능을 유지하면서 효율성을 개선했습니다. 이는 단계별 알고리즘 양자화와 하드웨어 효율적인 NVFP4 실행을 결합한 결과입니다.
연구 결과, Mix-Quant는 에이전트 LLM 추론의 성능을 유지하면서 상당한 효율성 향상을 제공하며, 복잡한 작업 해결에 필요한 에이전트 워크플로우의 성능을 개선합니다.