연구진은 LLM의 정신 이론(ToM) 평가에 기존 방식의 한계를 지적하며, Epistemic Asymmetry Schelling Task (EAST)라는 새로운 게임 기반 평가 방법을 제시했어요.
EAST는 두 LLM이 서로의 지식 상태를 추론하며 합의점을 찾는 방식으로, 실제 사회적 상황에서의 ToM 능력과 연관성이 높아요.
실험 결과, 최첨단 모델조차도 지식 추적 오류로 인해 어려움을 겪는 것으로 나타나, LLM의 사회적 추론 능력 향상이 중요한 과제임을 확인했어요.