연구진이 대규모 오디오-언어 모델(LALM)의 생성 편향을 평가하는 VIBE 프레임워크를 발표했어요. VIBE는 개인화 추천과 같은 개방형 작업을 통해 현실적인 음성 데이터를 활용해 모델의 편향을 측정해요.
12개의 최첨단 LALM을 평가한 결과, 성별과 억양 정보가 모델의 결과에 통계적으로 유의미한 변화를 일으키는 것으로 나타났어요.
VIBE는 기존의 합성 음성 기반 평가 방식의 한계를 극복하고, 다양한 작업에 쉽게 확장 가능한 새로운 편향 평가 방법론을 제시해요.