MosaicQuant는 LLM의 4비트 양자화 시 흔히 발생하는 정확도 저하 문제를 해결하기 위한 새로운 기술입니다. MosaicQuant는 전체 가중치 행렬을 4비트 기반으로 양자화하고, 오류 보정을 위한 4비트 잔차 구성 요소를 도입하여 성능을 개선합니다. ZipperEngine을 통해 잔차 계산을 4비트 GEMM 커널에 통합하여 양자화된 모델의 추론 속도를 최대 1.24배 향상시켰습니다.