연구진은 LLM의 거대 스파이크가 양자화를 저해한다고 밝혔습니다. 스파이크는 고수준 스칼라 편향이 아닌, 구조적 벡터 편향의 중간 단계라는 분석입니다. 스파이크를 가진 토큰은 정규화 후 특정 벡터로 수렴하며, 이는 어텐션과 가치-상태 배수 메커니즘에 영향을 미칩니다.
연구진은 프로젝션 가중치 분석을 통해 $W_K$ 가 벡터를 증폭하고, $W_Q$ 가 의미 있는 토큰을 정렬하며, $W_V$ 가 스펙트럼 null-space로 투영한다는 것을 입증했습니다. 또한, 모델이 로터리 포지션 임베딩(RoPE)의 교란에도 불구하고 특정 영역에서 구조적 편향을 유지하는 것을 확인했습니다.
INSERTQUANT라는 새로운 PTQ 프레임워크를 제안하여 스파이크를 제거하고 미리 계산된 템플릿 벡터를 통해 기능을 복원했습니다. 이를 통해 스파이크 없는 양자화를 구현하여 LLM과 ViT를 포함한 다양한 모델에서 고성능을 달성했습니다.