연구진은 에이전트 기반 모델(ABM)에 LLM을 통합하는 방법론적 문제를 조사했어요. Mesa ABM 모델과 통계적 모델 검증 도구 MultiVeStA를 활용해 Schelling 분리 모델을 분석했어요. LLM 기반 에이전트는 자연어 설명을 받아 이웃 에이전트의 유사성을 판단하고, 기존 에이전트와 함께 작동해요.
작은 LLM은 의미 분류 실패 또는 반복적인 도구 호출로 인해 작동 불능 상태가 될 수 있다는 초기 실험 결과가 나왔어요. 통계적 모델 검증은 기존 ABM 관측 가능치를 추정하고 LLM 구성 요소 도입의 영향을 정량화하는 데 활용될 수 있어요.
연구는 LLM 기반 의사 결정이 ABM 시뮬레이션의 신뢰성, 계산 비용, 행동에 미치는 영향을 분석하고, 통계적 모델 검증을 통해 그 영향을 평가하는 데 초점을 맞추고 있어요.