연구진이 지능형 오디오 편집 모델 평가를 위한 MMAE 벤치마크를 발표했어요. MMAE는 7가지 오디오 모달리티와 6단계 난이도를 포함하는 광범위한 평가 테스트베드입니다. 현재 모델들은 복잡한 작업에서 정확도(EMR)가 5% 미만으로, 성능 개선이 필요한 상황입니다.
MMAE는 인간-에이전트 협업으로 2,000개의 고품질 샘플과 새로운 척도 기반 평가 프레임워크를 포함합니다. 이 프레임워크는 지시사항 준수 및 문맥 일관성을 정확하게 평가합니다. 연구진은 MMAE가 지능형 콘텐츠 제작 분야의 발전을 촉진할 것으로 기대합니다.
기존 벤치마크의 한계를 극복하기 위해 MMAE는 17,741개의 검증 가능한 기준으로 세분화된 평가를 제공하며, 이는 모델의 정확한 실행 능력과 구조적 안정성을 진단하는 데 도움이 됩니다. MMAE는 단순 편집 작업부터 복합적인 멀티 라운드 편집까지 다양한 시나리오를 포괄합니다.