Kyutai가 공개한 Pocket TTS를 포함한 CPU 기반 텍스트 음성 변환(TTS) 모델 4가지의 성능을 비교하는 벤치마크 결과를 공유했어요. UTMOS MOS 점수를 활용해 객관적인 품질을 평가했답니다.
Pocket TTS는 스트리밍 LM 아키텍처 덕분에 텍스트 길이와 무관하게 일정한 처리 속도를 유지하며, Kokoro 모델은 텍스트 길이에 따라 처리 속도가 달라지는 반면, Supertonic은 짧은 텍스트에서 더 빠른 속도를 보였어요.
UTMOS 점수는 작은 음성 코더의 한계를 드러낼 수 있으며, 인간의 청취 평가나 자연스러움 지표(NISQA)와 함께 사용하는 것이 좋으며, Inflect-Nano는 최대 출력 길이 제한으로 인해 장문 입력 시 성능이 과장될 수 있다는 점을 지적했어요.