연구진이 레이블 없는 오디오 자가 진화 프레임워크 Audio-Zero를 선보였습니다. Audio-Zero는 LALM의 미세한 오디오 추론 능력을 향상시키고 기존 방식의 외부 레이블 의존성을 줄입니다. Qwen2-Audio-7B-Instruct와 Qwen2.5-Omni-7B 모델을 활용한 실험 결과, TREA, MMAU Test-mini, MMAR 데이터셋에서 오디오 추론 능력이 향상된 것을 확인했습니다.
Audio-Zero는 미세한 오디오 변형을 감지하는 자가 플레이 게임을 구축하여, 모델이 스스로 듣고 추론하는 과정을 통해 학습합니다. 이 과정에서 생성된 단서는 모델이 오디오를 이해하는 점점 더 미세한 묘사를 가능하게 합니다.