연구진은 Midjourney, Stable Diffusion, DALL-E 등 5개 이미지 생성 모델의 직업 관련 이미지 생성 시 성별 및 인종 편향성을 평가했어요. BAFIS 플랫폼을 통해 사용자 피드백을 수집하고, 2만 1천여 개의 합성 이미지를 활용한 데이터셋을 구축했어요. 기존 평가 지표와 사용자 선호도 간의 상관관계가 낮다는 점을 확인하며, 더욱 공정하고 포용적인 모델 개발을 위한 인간 선호도 반영의 필요성을 강조했어요.
BAFIS는 이미지 생성 모델의 편향성을 평가하기 위한 데이터셋과 프레임워크로, 독일 연방 고용청 통계와 비교 분석하여 사회적 맥락을 고려했어요. 연구 결과, 기존 평가 지표가 사용자 선호도를 제대로 반영하지 못한다는 한계가 드러났어요.
연구진은 BAFIS 플랫폼을 통해 수집된 사용자 피드백과 2만 1천여 개의 합성 이미지를 기반으로 5개 모델의 편향성을 분석하고, 이미지 품질 및 프롬프트 일치도를 평가했어요.