Anthropic의 GLM-5.2 모델을 8개의 B200 GPU 환경에서 최적화하는 방법이 공개됐습니다. 기존 방식보다 NVFP4 정밀도를 활용하고 Tensor Parallelism(TP)을 4로 설정하는 것이 성능 향상에 효과적입니다.
NVFP4는 모델 가중치 읽기 작업을 절반으로 줄여 전체 처리량을 2배까지 늘릴 수 있으며, 사용자당 처리 속도도 개선됩니다. 다만, TP=8 방식은 지연 시간 감소에만 기여합니다.
SemiAnalysis의 분석에 따르면, NVFP4를 사용하면 토큰당 비용이 기존 H200 FP8 방식보다 약 3.5배 저렴하며, 100만 토큰 컨텍스트를 지원하지만, 초기 로딩 시 엔진을 독점하므로 분산 로딩 계획이 필요합니다.