연구진은 양자화가 LLM의 행동 변화를 유발하지만 정확도와 퍼플렉시티 지표는 이를 제대로 반영하지 못한다고 밝혔습니다. 새로운 지표인 '정확성 일치율'을 도입하여 양자화된 모델과 원본 모델의 예측 일치 여부를 측정했습니다. 연구 결과, 양자화 정도가 중간 수준에서도 행동적 차이가 나타나며, 이는 기존 성능 지표로는 파악하기 어려웠습니다.
양자화는 어텐션 가중치에 대한 구조적 연산으로 분석되었으며, 레이어별 왜곡을 통계적, 분포적 척도로 정량화했습니다. 쿼리와 키 프로젝션이 값과 출력 프로젝션보다 더 민감하다는 사실이 확인되었습니다.
이 연구는 양자화된 모델과 원본 모델 간의 동등성 환상을 드러내고, 기존 성능 지표를 넘어 행동 평가의 필요성을 강조합니다.