연구팀은 다양한 인구 통계적 배경을 가진 사람들의 혐오 표현 판단 차이를 LLM으로 모방하는 것이 가능한지 평가했어요. Persona-conditioned LLM이 다양한 관점을 반영하는지, 특정 집단을 타겟팅하는 콘텐츠에 더 민감하게 반응하는지, 다른 집단의 반응을 예측하는지 세 가지 측면에서 분석했어요.
연구 결과, 어떤 모델도 세 가지 측면을 일관되게 반영하지 못했으며, 모델에 따라 성능이 크게 달라졌어요. 특히 Llama 3.1을 활용한 vicarious prompting이 다른 모델보다 인간의 의견 불일치 패턴과 가장 유사한 결과를 보였어요.
이는 LLM이 특정 설정에서 인간의 판단과 더 일치하는 자동 주석을 제공할 수 있음을 시사하지만, 편향된 판단을 줄이기 위한 추가 연구가 필요하다는 점을 강조해요.