연구진이 LLM의 정치적 편향성을 측정하는 새로운 벤치마크 'Polar'을 공개했어요. Polar은 4,026개의 객관식 문제로 구성되어 있으며, 옵션별 likelihood를 통해 정치적 편향성을 측정해요.
미국 정치 콘텐츠에서는 대부분의 LLM이 좌파 성향을 보이지만, 한국 콘텐츠에서는 더 중심적이고 다양한 패턴을 나타내요. 번역 실험 결과, 언어 자체만으로도 측정된 편향성이 바뀔 수 있어요.
Polar은 다국어 및 다양한 정치적 맥락에서의 LLM 편향성 평가 필요성을 강조하며, LLM 개발 및 평가에 중요한 지표를 제공할 것으로 기대돼요.