연구에 따르면 LLM은 구체적인 상황에서 표현된 가치를 식별할 수 있을까요? Schwartz의 10가지 기본 가치에 기반한 연구 결과, 모델은 정확한 동기 부여 영역을 찾지만, 관련 대체 가치를 불안정하게 순위화하는 경향이 있습니다.
1,000개의 러시아 상황 텍스트를 활용한 평가에서, 모델의 Acc@1은 0.683, Acc@3은 0.892로 나타났습니다. 인접한 가치들은 50.9%의 의미 오류를 차지하며, 이는 체크포인트별 null에 비해 높은 비율입니다.
Universalism과 Benevolence, Tradition과 Conformity, Security와 Power의 비대칭적 혼동과 같은 8가지 주요 혼동 사례가 발견되었으며, 이러한 혼동은 체크포인트에 따라 심각도가 달라질 수 있습니다.