Robert Johnson이 다양한 퀀타이제이션 방식의 품질과 속도를 비교 분석한 결과를 공유했습니다. GGUF Q8 방식이 가장 우수한 성능을 보였으며, INT8 ConvRot 방식이 INT8 Row 방식보다 빠르고 품질도 우수했습니다.
RTX 3090에서 테스트한 결과, INT8 ConvRot 방식은 BF16 대비 1.43배 빠른 속도를 보였으며, MXFP8 방식은 INT8 방식보다 느렸습니다.
INT8 ConvRot 방식은 2019년 이후 대부분의 NVIDIA GPU에서 지원되며, RTX 20 시리즈 GPU에서는 INT8 플롭스 제한으로 성능 향상이 제한적일 수 있습니다.
본문은 KSampler 노드를 활용하여 모델의 컨텍스트 라텐트를 캡처하고, BF16 기반 모델과 비교하여 품질을 측정하는 방법을 설명합니다.