머신러닝 시스템의 공정성 평가는 생체 인식, 의료 의사 결정, 자동화된 위험 평가 등 고위험 분야에서 중요한 과제로 떠올랐습니다.
연구 결과, 사용되는 공정성 지표에 따라 평가 결과가 크게 달라져 모델의 편향 여부에 대한 상반된 결론을 내릴 수 있으며, 이는 현재 공정성 평가 방식의 한계점을 드러냅니다.
연구진은 공정성 지표 간의 불일치를 정량화하는 '공정성 불일치 지수(FDI)'를 도입하여, 다양한 모델 구성 및 임계값에서도 불일치가 높게 나타남을 확인했습니다.