연구진이 Ideogram 4.0 모델을 Ampere RTX 3090 GPU에서 실행할 수 있도록 INT8 양자화를 진행했어요. INT8 양자화는 기존 FP8 방식과 품질 차이가 거의 없으며, NF4 모델보다 CLIP 점수가 1.9% 향상됐어요. GGUF Q4_K 양자화는 기존 모델과 동일한 디스크 크기로 더 나은 품질을 제공하며, 텍스트 가독성도 유지돼요.
연구 결과, INT8 양자화는 가중치 크기를 줄이지 않아 Ampere GPU에서 속도 향상을 위해서는 융합된 INT8 커널이 필요해요. FFN 다운 프로젝션을 보호하는 것이 품질 향상에 가장 큰 영향을 미치는 요소로 확인됐으며, 8비트 양자화가 도움이 되지 않는 부분도 존재해요. 연구는 텍스트 가독성 유지 여부를 확인하는 OCR 분석도 포함돼요.