연구진은 Transformer 언어 모델의 편향된 출력을 지역화하고 수리하는 방법을 연구했어요. ROBIN이라는 새로운 방법을 통해 어텐션 헤드의 편향성을 진단하고 수정할 수 있어요. ROBIN은 편향성에 민감한 어텐션 헤드를 선택하고, 해당 헤드의 출력에서 편향된 부분만 제거하는 방식이에요.
WinoBias 테스트에서 편향성 간극을 줄이는 데 효과적이었으며, 전체 헤드를 제거하는 방식보다 언어 모델 품질을 더 잘 보존했어요. 이 연구는 어텐션 헤드 수준의 편향 수리 시 어떤 헤드를 선택할 뿐 아니라, 어떻게 수정하는지가 중요하다는 점을 시사해요.