RTX Pro 4500과 AooStar eg01을 결합한 시스템에서 PrismaQuant 방식 양자화 모델 테스트를 진행했어요. 기존 모델에서 tool call 오류 및 연계 사고 문제를 해결하기 위해 새로운 양자화 방법을 사용했어요.
PrismaQuant는 각 선형 레이어에 가장 적합한 형식을 선택하여 모델 성능을 극대화하는 방식이며, 현재 Blackwell 아키텍처(RTX Pro 시리즈)에서만 vLLM에서 사용할 수 있어요. Qwen3.6-27B 모델을 PrismaSCOUT 및 PrismaAURA로 양자화하여 테스트했어요.
PrismaQuant-5.5bit는 QuantTrio와 selimaktas 사이에 위치하며, KLD 결과는 PrismaSCOUT보다 약간 낮은 성능을 보였어요. Sakamakismile, PrismaSCOUT, Lorbus 모델은 최대 210K 컨텍스트 길이까지 테스트되었어요.