Anthropic이 Nunchaku 4비트 디퓨전 추론을 Diffusers에 통합하여 VRAM 사용량을 줄이고 속도를 향상시켰어요.
SVDQuant 기술을 활용하여 가중치와 활성화 값을 4비트로 양자화하고, 16비트 저랭크 브랜치를 사용하여 이상치를 처리하여 메모리 사용량과 속도 저하를 최소화했어요.
Nunchaku Lite는 Blackwell GPU(RTX 50 시리즈)에서 사용 가능하며, INT4 변형은 이전 세대 GPU에서 사용할 수 있으며, Diffusers 모델처럼 `from_pretrained()`로 쉽게 불러올 수 있어요.