Qwen3.6 35B 모델의 KV 캐시를 양자화했을 때 메모리 효율성이 개선되는지 논의되고 있어요. Q8 이하의 양자화는 성능 저하를 유발할 수 있다는 우려가 있습니다. Reddit 사용자들은 KV 캐시 양자화의 가치에 대한 의견을 교환하고 있습니다.
Qwen3.6 35B 모델의 A3B KV 캐시 양자화가 메모리 사용량을 줄이는 데 효과적인지 확인하기 위한 실험이 진행 중입니다. 사용자들은 성능 저하와 메모리 효율성 간의 균형을 찾는 데 어려움을 겪고 있습니다.