연구진은 MLLM의 사회적 편향을 평가하는 새로운 벤치마크 'StylisticBias'를 공개했어요. 500개의 얼굴 이미지를 기반으로 25,000개의 단일 속성 변형 이미지를 생성하여 개별 시각적 단서가 모델 판단에 미치는 영향을 측정했어요.
연구 결과, 나이와 체형이 가장 큰 영향을 미치며, 패션 스타일과 같은 시각적 단서가 모델 판단에 큰 변화를 일으키는 것으로 나타났어요. 전체 편향의 80%는 15개 정도의 시각적 단서에 집중돼 있어요.
StylisticBias 벤치마크는 GitHub과 Hugging Face에서 공개되었으며, MLLM의 미세한 편향 평가에 활용될 수 있을 것으로 기대돼요.