연구진이 2비트 통합 스칼라-벡터 양자화 프레임워크 UniSVQ를 제안했어요. UniSVQ는 스칼라 양자와 벡터 양자의 장점을 결합해 성능 저하를 줄이고 추론 속도를 높여요.
데이터 기반 블록 양자화 방식의 미세 조정 전략을 통해 양자화 재구성 오류를 최소화해요. 기존 스칼라 양자화 방식보다 성능이 뛰어나고, 고급 벡터 양자화 방식과 유사한 성능을 보여줘요.
다양한 LLM 모델과 벤치마크 테스트에서 UniSVQ는 기존 방식보다 추론 처리량도 더 높게 나타났어요.