연구진은 EDEN, RabitQ, TurboQuant 등 회전 기반 양자화 방식의 성능 비교를 위한 통일된 이론적 기준을 제시했어요. 각 방식은 특정 기준에 따라 강점을 보이며, EDEN은 기대 손실 왜곡 측정에서 특히 강력한 성능을 보입니다. Block-Sphere Quantization (BlockQuant)은 회전된 벡터의 구면 기하학적 특성을 고려한 새로운 양자화 알고리즘으로, 기존 방식 대비 이론적으로 성능 향상을 이끌어냈습니다.
실제 임베딩 데이터셋과 LLM 추론 작업에서 BlockQuant은 이론적 개선과 일관된 실질적인 성능 향상을 보여주었어요. BlockQuant은 벡터의 구면 기하학적 특성을 보존하여 회전된 임베딩을 보다 정확하게 표현합니다.
연구는 벡터 양자화 방식의 성능 비교 기준을 명확히 하고, 새로운 BlockQuant 알고리즘을 제시하여 LLM 추론 성능 향상에 기여할 것으로 기대됩니다.