OpenSTBench는 음성 번역 시스템의 다양한 출력(S2TT, S2ST, 오프라인, 스트리밍)을 통합 평가하는 프레임워크입니다. 번역 품질, 음성 품질, 시간 일관성, 지연 시간 등 다양한 요소를 동시에 평가합니다. 실험 결과, 번역 품질이 우수한 시스템이라도 음성 품질이나 시간 일관성에서 차이를 보입니다. OpenSTBench는 GitHub에서 코드와 데이터셋을 공개했습니다.