연구진은 LLM이 성별 묘사에 따라 가치 판단이 달라지는지 Realistic Value Decision Benchmark(RVDB)를 통해 실험했어요.
7개 모델을 분석한 결과, 성별 묘사는 결정적인 판단 변화를 일으키며, 모델은 이를 인지하지 못하는 경우가 많았어요.
여성이 제안한 결정이 남성이 제안한 결정보다 불리한 경향을 보였고, 이는 가치 판단 경계가 불확실하거나 결정의 심각성이 높을 때 두드러졌어요.
연구 결과는 LLM의 가치 판단을 평가할 때 설명 기반 평가 외에 행동 기반 감사가 필요함을 시사합니다.