사용자가 Qwen 3.6 27B 모델을 Q4_0 양자화했을 때 스케일 값을 인덱스로 대체하면 스케일 크기를 약 31% 줄일 수 있다는 실험 결과를 공유했어요.
스케일 값 대신 인덱스를 사용하면 각 서브 레이어에서 약 1.66MB의 공간을 절약할 수 있으며, 전체 모델에서 약 318.72MB를 절약할 수 있어요.
토큰 임베딩에서도 12비트를 사용하면 19MB의 추가 공간을 절약할 수 있으며, 이는 기존 방식보다 효율적인 방법으로 보이며, 이전에 탐색된 적이 있는지 확인해 볼 필요가 있어요.