연구진이 언어 모델의 편향성을 분석하기 위한 새로운 지표 RPAM(Relative Probability Association Metric)을 제시했어요. RPAM은 모델의 기본 수준인 임베딩 또는 이어쓰기 확률을 분석하여 다양한 모델에 적용 가능하도록 설계됐어요.
기존 지표들이 생성된 텍스트의 다양성으로 인해 일반화가 어려웠지만, RPAM은 인간의 연관성 및 편향 측정과 강한 상관관계를 보여줘서 기존 지표들을 능가하는 성능을 보여줬어요.
Mistral-7B-Instruct, Mistral-7B, GPT-2 모델과 WEAT-WS, Bellezza, WS-353, SST2 데이터셋을 활용한 실험에서 RPAM은 다운스트림 작업에서의 편향 측정과도 높은 상관관계를 보였어요.