PrismML의 Bonsai 런타임에 KVarN 논문을 적용하여 Bonsai-27B 모델의 성능을 향상시켰어요. KVarN을 적용한 결과, 토큰 생성 속도가 73토큰/초로 68% 향상되고 120K 컨텍스트에서 VRAM 사용량이 3.3GB 감소했어요. KVarN은 KV 캐시 양자화 방식을 기반으로 하며, 4비트 양자화 시 품질 저하를 줄여줘요.