연구진은 오디오-언어 모델(LALM)의 환각 현상을 평가하기 위한 최초의 대규모 벤치마크인 HalluAudio를 발표했어요.
HalluAudio는 음성, 환경 소리, 음악 데이터를 활용한 5천 개 이상의 QA 쌍으로 구성되어 있으며, 다양한 유형의 환각을 유도하기 위한 적대적 프롬프트와 혼합 오디오 조건을 설계했어요.
벤치마크 결과, LALM은 음향 기반, 시간 추론, 음악 속성 이해 능력에서 상당한 부족함을 보여, 더욱 신뢰성 있고 강력한 모델 개발의 필요성을 강조했어요.