Ouvia는 실제 환경에서 음성 번역(ST) 사용자의 사용성을 측정하는 새로운 프레임워크입니다. 영어 사용자가 포르투갈어 사용자에게 요청을 전달하는 1:1 소통 시나리오를 통해 1,750건 이상의 상호작용 데이터를 수집했습니다. 분석 결과, 현대 ST는 제한적으로만 사람들에게 도움이 되며, 인구 집단별 사용성 격차가 큽니다.
기존 품질 평가 방식보다 QA 기반 평가가 실제 사용성 예측에 더 효과적이라는 점이 확인되었습니다. Ouvia는 사용 중심의 평가 프레임워크의 중요성을 강조합니다.