연구진은 음성 번역 모델 평가 지표가 음성 정보(화자 성별, 운율, 강조)를 제대로 반영하지 못한다는 문제점을 지적했어요. 텍스트 기반 및 음성 기반 품질 평가 지표를 비교 분석한 결과, 모두 부족한 점이 드러났어요. 음성 특징을 반영한 SpeechCOMET 모델을 개발하고 최신 음성 LLM을 평가한 결과, 기존 텍스트 기반 모델보다 성능이 향상되었지만 음성 정보 평가는 여전히 미흡했어요.
음성 특징 보존 실패, 음성 신호 무시, 관련 훈련 데이터 부족이 문제의 원인으로 분석되었으며, 향후 음성 특화 훈련 데이터와 모델 개발이 필요하다고 강조했어요. 연구 결과와 모델 코드는 공개되었으며, 음성 번역 연구 발전을 위한 제언을 담고 있어요.
SpeechCOMET 모델은 음성 인코더를 활용하여 음성 번역 품질을 평가하며, 기존 텍스트 기반 모델보다 우수한 성능을 보였지만, 음성 정보 평가는 여전히 개선해야 할 부분이 남아있다고 밝혔어요.