연구진이 음성 AI 시스템의 성능을 다각적으로 평가하는 RW-Voice-EQ 벤치마크를 발표했어요. TTS, STS, SU, ASR 등 다양한 영역에서 평가를 진행했으며, 각 영역별 성능이 크게 다르다는 결과를 확인했어요. TTS는 자연스러움, 표현력, 화자 안정성, 신뢰성이 독립적인 평가 요소이고, STS는 음성 정보 활용이 미흡하며, SU는 비언어적 요소에서 성능 편차가 컸어요.
ASR은 실제 환경의 억양, 감정, 노이즈, 대화 조건에서 기존 벤치마크가 놓치는 오류를 드러냈어요. 연구 결과는 음성 AI를 단일 점수로 평가하는 대신, 음향, 표현, 상호작용, 견고성 등 다양한 측면을 고려해야 함을 시사해요.