ServiceNow-AI가 양방향 고객 응대 시 코드 스위칭 음성 처리 성능을 평가하는 벤치마크를 구축하고 발표했어요. 스페인어-영어, 프랑스어-영어, 캐나다 프랑스어-영어, 독일어-영어 4개 언어 쌍을 지원해요.
벤치마크는 Word Error Rate (WER), Semantic Word Error Rate (SWER), Answer Error Rate (AER) 3가지 지표를 활용해 모델의 정확도와 의미 보존 능력을 측정했어요. ElevenLabs Scribe V2, Gemini 3 Flash, Assembly AI Universal 3-Pro가 우수한 성능을 보였어요.
ServiceNow는 벤치마크 데이터와 결과를 AU-Harness를 통해 공개했으며, 코드 스위칭으로 인한 비용은 언어 쌍과 모델에 따라 달라지는 것으로 나타났어요.