벡터 양자화는 머신러닝의 핵심 기술로, 유사성 검색부터 연합 학습, KV 캐시 압축에 활용돼요.
연구에서는 단일 랜덤 해들마르 변환을 사용한 디더링 양자화 방식을 연구했는데, 이는 이론적 보장을 제공하고 평균 제곱 오차 경계를 개선해요.
디더링된 TurboQuant은 좌표당 b 비트에서 (π√3/2 + o(1)) * 4^-b의 평균 제곱 오차를 달성하며, 양자화 레벨이 증가함에 따라 모든 유닛 벡터와 차원에 대해 o(1) 항이 균일하게 사라져요.