audio.cpp 프로젝트에서 Nemotron ASR, Higgs Audio STT, VibeVoice ASR, Hviske ASR 등 4가지 음성 인식 모델을 C++/GGML 기반으로 통합하고 스트리밍 지원을 추가했어요.
Nemotron ASR은 RTX 5090에서 327.6초 오디오 파일을 2.17초에 처리하며, SSE 스트리밍 시 TTFT(Time To First Token)는 307ms로 대폭 단축돼요.
VibeVoice ASR은 가장 낮은 WER(Word Error Rate)을 기록했지만, 메모리 사용량이 높고 Nemotron은 속도와 VRAM 사용량 간 균형이 우수해 로컬 ASR 서비스에 적합해요.
VoxCPM2는 텍스트를 점진적으로 받고 오디오 청크를 반환하는 스트리밍 지원을 제공하며, 더 많은 모델과 서버 수준 스트리밍 지원을 위한 개선이 필요해요.