연구진은 LLM 사회 시뮬레이터의 평가 기준이 미흡하다고 지적하며, 최종 답변과 유사한 결과를 내더라도 잘못된 이유 패턴을 사용할 수 있다고 주장해요. 94명을 대상으로 선크림 개념 테스트를 진행하여, 응답자들의 이유를 '채택' 또는 '반대'를 나타내는 '이유 상태'로 매핑하는 감사 방식을 제안했어요. LLM 시뮬레이터는 응답자의 이유를 제대로 반영하지 못하고, 개념 보드에 더 의존하는 경향이 있다는 결과가 나왔어요.
연구는 사회 시뮬레이터의 평가 프레임워크를 기여하며, 이유 상태가 자연스러운 인과 효과를 식별하지는 못하지만, 시뮬레이터의 이유가 인간의 증거와 일치하는지 테스트하는 해석 가능한 방법을 제공한다고 설명해요. 연구진은 LLM 사회 시뮬레이터가 인간의 이유 패턴을 제대로 반영하지 못할 경우, 결과 예측에 오류가 발생할 수 있음을 강조했어요.
향후 연구에서는 이유 상태를 통해 LLM 사회 시뮬레이터의 신뢰도를 높이고, 보다 정확한 예측을 가능하게 하는 방향으로 발전할 필요가 있다고 제안했어요.