ESCUCHA는 현실적인 음향 환경에서 스페인어 음성 이해를 평가하는 첫 번째 벤치마크입니다. 1,000개의 질문과 162.9시간의 오디오로 구성되어 있으며, 기존 데이터셋이 아닌 실제 환경에서 수집되었습니다. 다양한 스페인어 방언과 비정규적인 음성을 포괄하며, 추론 능력을 평가하는 9가지 인지 및 10가지 추론 범주를 포함합니다.
벤치마크는 다중 오디오 질문, 음성 질문, 오디오 지침을 포함하며, 인간 수준의 성능을 달성하는 데 상당한 격차가 있음을 보여줍니다.
최신 다중 모드 및 음성 모델을 벤치마킹한 결과, 인간 수준의 성능을 달성하는 데 상당한 격차가 있음을 확인했습니다.