사용자가 KV 캐시 양자화를 Q8에서 더 낮은 수준으로 줄이면 품질 저하 없이 추가 컨텍스트 헤드룸을 확보할 수 있다고 밝혔습니다. Q8에서 Q5로 줄이면 약 0.8GB의 VRAM을 절약하여 동일 하드웨어에서 160K 토큰에서 200K 토큰으로 컨텍스트 길이를 늘릴 수 있습니다. 실제 사용에서 품질 차이는 거의 감지할 수 없으며, 더 낮은 양자화 수준(Q4 이하)에서 더 큰 품질 저하가 발생합니다.