연구진은 긴급 상황 경찰 신고 처리 시스템에 통합되는 대형 언어 모델(LLM)의 인구 통계적 공정성을 평가하는 교차 언어 감사 프레임워크를 소개했습니다.
11개 모델, 15개 시나리오, 3개 인구 통계 범주(종교적 외모, 성별, 인종) 및 2개 언어(영어, 중국어)로 구성된 19,800건의 모델 출력 결과, 상황의 심각성이 모호할 때 인구 통계적 편향이 체계적으로 나타나는 것을 확인했습니다.
연구 결과, 언어 간 비편향성이 나타나는 것을 확인했으며, 중국어에서 성별 편향이 크게 증폭되고 영어에서 인종 편향이 더 두드러진 것을 발견했습니다.