VibeVoice-ASR-BitNet은 엣지 CPU에서 실시간 추론을 위해 최적화된 VibeVoice-ASR의 압축 버전입니다. VAE 음향 토크나이저에는 INT8 양자화, 오토레그레시브 언어 모델에는 BitNet 스타일의 3진법 가중치를 적용했습니다. 압축으로 인한 정확도 저하를 최소화하기 위해 점진적인 양자화 인식 훈련 전략을 사용했습니다.
ggml 프레임워크 내에서 사용자 지정 SIMD 커널과 융합 연산자를 구현하여 ARM 및 x86 플랫폼에서 실시간 인식을 구현했으며, RTF가 1보다 작습니다. 3개의 CPU 스레드만 사용합니다.
VibeVoice-ASR-BitNet은 비슷한 모델 크기 (~1.6GB)에서 Whisper.cpp보다 1.6~2.3배 빠르며, FP16 기준선과 비교했을 때 정확도가 크게 저하되지 않았습니다.