연구진은 부분적으로 관찰 가능한 협력적 의사 결정 환경에서 LLM 기반 숙고형 에이전트의 협업을 연구했어요. 숙고형 협업을 협력적 의사 결정 문제로 공식화하고, 정보 교환을 통해 공동 의사 결정을 내리는 벤치마크를 제시했어요. 다양한 LLM을 평가한 결과, 복잡한 숙고형 협업 작업은 최첨단 언어 모델에게도 여전히 어려움이 있다는 점이 확인됐어요.
LLM은 정보 정렬을 위한 숙고 과정이나 복잡한 의사 결정 과정에서 실패할 수 있지만, 외부 수학 도구의 도움으로도 가능해요. 숙고 과정은 반성과 오류 수정의 기회를 제공하여 중앙 집중식 기준보다 성능을 향상시키기도 해요.
이번 연구는 숙고형 협업에서 LLM 에이전트를 평가하고 개선하는 기반을 마련하고, 현재 LLM 기반 다중 에이전트 시스템의 강점과 한계에 대한 통찰력을 제공해요.