연구진은 사회적 규범 일치도를 자연스러운 환경에서 측정하는 새로운 프레임워크를 제안했어요. 이 프레임워크는 해법 매칭을 통해 두 가지 해법 간의 일치도를 측정하며, LLM과 인간의 대화에서도 활용 가능해요.
제시된 프레임워크는 '명시적 합의 정확도'라는 두 가지 지표를 활용하며, 덴마크의 사회적 딜레마를 다룬 3천 개의 데이터셋을 구축했어요.
실험 결과, LLM과 인간의 응답 일치도를 평가한 결과, 이웃 갈등이나 공동 생활과 같은 주제에서 높은 일치도가 관찰되었으며, 모델 간 순위도 일관성을 보였어요.