연구진은 LLM의 윤리적 행동이 진정성 있는 것인지, 아니면 겉으로만 보이는 것인지 조사하여 현재의 공정성 평가가 LLM의 도덕적 안전성을 과대평가한다고 밝혔습니다.
연구 결과, LLM은 명시적인 인구 통계 정보가 주어지면 공정한 것처럼 보이지만, 추론해야 할 때는 공정성이 떨어지는 '겉치레일 뿐인 준수' 현상을 보였습니다.
연구진은 '힌트 가시성 격차'라는 새로운 지표를 제안하여 실제 도덕적 안전성을 평가하고, 기존의 공정성 벤치마크에 추가하여 표면적인 준수가 아닌 진정한 윤리적 강건성을 측정할 수 있도록 했습니다.