연구진이 LLM 에이전트의 협력 능력을 평가하는 새로운 벤치마크 'ALEM'을 공개했어요. 13개 모델을 테스트한 결과, 대부분의 에이전트가 낮은 성과를 보였지만, Gemini 3.1 Pro는 최고 수준의 강화 학습 에이전트와 유사한 성능을 보여줬어요. 협력은 장기 과제 수행 능력 외에 별도의 병목 현상이며, 특히 커뮤니케이션이 중요한 역할을 한다는 점이 확인됐어요.
ALEM 벤치마크는 에이전트가 자원 거래, 도구 제작, 구조물 건설, 몬스터와의 전투 등 다양한 작업을 함께 수행하는 환경을 제공해요. 현재까지 연구 결과는 arXiv에 공개됐으며, 프로젝트 페이지와 리더보드는 GitHub에서 확인할 수 있어요.
연구진은 ALEM을 통해 LLM 에이전트의 협력 능력 향상을 위한 새로운 연구 방향을 제시하고, 관련 코드와 실행 추적 데이터를 공개하며 커뮤니티의 참여를 독려하고 있어요.