VIBE는 대규모 오디오-언어 모델(LALM)의 생성 편향을 평가하는 새로운 프레임워크예요. 기존 방식은 합성 음성이나 객관식 질문에 의존했지만, VIBE는 실제 인간 음성을 활용한 개방형 과제를 통해 편향성을 분석해요.
VIBE는 개인 맞춤형 추천과 같은 시나리오에서 사회적 고정관념이 자연스럽게 드러나도록 설계되었으며, 11개의 최첨단 LALM을 평가한 결과 성별 힌트가 억양 힌트보다 더 큰 분포 변화를 유발하는 등 체계적인 편향이 확인되었어요.
연구 결과는 현재 LALM이 사회적 고정관념을 재생산하고 있음을 보여주며, 보다 공정하고 윤리적인 모델 개발의 필요성을 강조하고 있어요.