OrbitQuant은 이미지·비디오 디퓨전 트랜스포머의 추론 비용을 줄이기 위해 개발된 데이터 불감증 양자화 기법입니다. 기존 방식과 달리, 입력에 관계없이 고정된 기준을 사용하여 모든 시간 단계, 프롬프트, 레이어에 대해 단일 코드북을 사용합니다.
가중치 행을 오프라인으로 양자화하여 회전을 가중치에 흡수하는 방식으로, 런타임에 활성화 함수에 대한 순방향 회전만 남깁니다.
FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX 등 다양한 모델에서 최고 성능을 달성했으며, 이미지 디퓨전 트랜스포머의 PTQ를 W2A4까지 가능하게 합니다.