Zhongzhu 연구원이 OSCAR RotationZoo 기술을 활용한 GGUF 모델을 공개했어요. Gemma-4-12B, Qwen3-32B, Qwen3-4B-Thinking 모델을 INT2 양자화 버전으로 제공돼요. 이 기술은 KV 캐시 양자화 시 분광 공분산을 고려하여 성능 저하를 최소화하는 방식이에요.
OSCAR RotationZoo는 2비트 양자화 환경에서 모델의 정확도를 높이는 데 기여하며, 관련 코드와 연구 논문은 GitHub와 arXiv에서 확인할 수 있어요. 연구팀은 Gemma-4-12B 모델을 활용한 sglang 프로젝트도 함께 공개했어요.
GGUF 모델 다운로드 링크와 코드 저장소, 논문 링크는 트윗을 통해 확인할 수 있으며, 사용자들은 Reddit 커뮤니티에서 관련 정보를 공유하고 있어요.