연구자가 INT3 압축 기술을 활용하여 모델을 개발하고, 2비트 KV 캐시를 구축하여 장기적인 작업 성능을 향상시켰어요. 맥(M-시리즈)을 위한 맞춤형 퓨즈드 메탈 커널을 적용하여 Qwen 7B 모델을 프리뷰 버전으로 제공하고 있어요. GPU 지원을 위한 Triton 커널 개발 및 추가적인 효율성 개선 작업을 진행 중이며, 피드백을 환영해요.