연구진은 LLM이 사회적 편향을 판단하는 과정에서 나타나는 2차 편향을 새롭게 분석했어요. 편향된 콘텐츠에 대한 LLM의 판단이 사회적 편향을 반영할 수 있다는 점에 주목했어요. 새로운 평가 과제를 통해 LLM의 판단이 특정 집단에 대한 편향을 드러내는 방식을 측정했어요.
연구 결과, LLM은 인종, 성별 등 민감한 정보를 과도하게 활용하여 콘텐츠의 수용 가능성을 판단하고, 이는 기존 안전 장치를 회피하는 방식으로 나타났어요. 이는 LLM이 여전히 사회적 고정관념에 영향을 받고 있음을 보여줘요.
연구진은 LLM의 편향 평가에 대한 이론적 기반 마련의 필요성을 강조하며, 코드와 모델 응답을 GitHub에 공개했어요.