Treble Technologies와 Hugging Face가 실제 환경의 음향 조건을 반영한 첫 번째 공개형 원거리 ASR 벤치마크 FFASR 리더보드를 출시했어요.
FFASR 리더보는 14개의 시뮬레이션된 방에서 평가하며, 실제 측정값과 비교 검증을 거쳤고, 현재까지 제출된 모델들은 낮은 SNR 환경에서 원거리 WER이 동일한 음성 콘텐츠에 대한 근거리 WER보다 수 배 더 높게 나타났어요.
벤치마크는 파동 기반 시뮬레이션, 실제 검증, 움직이는 소스 분할, 표준화된 평가 하드웨어를 사용하며, 평균 WER과 RTFx를 비교하는 파레토 프론트 플롯을 제공하여 정확도와 속도 간의 균형을 평가할 수 있도록 지원해요.