ConQuR은 LLM의 가중치-활성화 양자화 성능을 높이는 새로운 방법입니다. 이 방법은 정규화된 활성화를 회전시켜 사각형의 모서리에 맞추는 방식으로, 활성화 에너지를 고르게 분산시킵니다.
기존 방식의 단점을 극복하기 위해, ConQuR은 효율적인 폐쇄형 업데이트를 통해 회전을 학습하며, 온라인 교정 절차를 통해 활성화 분포에 적응합니다.
Llama-2 및 Llama-3 모델을 대상으로 한 실험 결과, ConQuR은 기존 방식과 견줄 만하거나 더 나은 성능을 보였으며, 비용이 많이 드는 엔드투엔드 훈련이나 대규모 오프라인 활성화 저장 공간이 필요하지 않았습니다.