연구진은 젠더 편향과 사실적 젠더를 분석하기 위해 GKnow 벤치마크를 구축했어요. GKnow는 언어 모델의 젠더 관련 예측을 평가하고, 젠더 편향과 사실적 젠더를 분리하는 데 사용돼요.
GKnow 테스트 결과, 젠더 편향과 사실적 젠더가 회로 및 뉴런 수준에서 심하게 얽혀 있어, 뉴런 제거만으로는 젠더 편향을 효과적으로 해소하기 어렵다는 사실이 밝혀졌어요.
연구진은 젠더 편향 평가 벤치마크가 뉴런 제거 시 사실적 젠더 지식 감소를 숨길 수 있다는 점을 보여주며, GKnow를 젠더 편향 벤치마크 개발에 기여하고자 합니다.