연구진은 협력적 다중 에이전트 강화 학습(MARL) 벤치마크의 한계점을 지적하며, 단순히 결과 지표 외에 조정 과정을 평가하는 새로운 관점을 제시했습니다. STAT라는 테스트베드를 통해 에이전트, 작업, 환경 규모를 체계적으로 변화시키며, 다양한 가치 기반 MARL 방법의 조정 메커니즘을 분석했습니다.
분석 결과, 유사한 결과 지표를 보이더라도 에이전트 간 조정 방식에 차이가 나타났으며, 이는 과도한 작업 할당, 작업 다양성, 작업 완료 효율성 등에서 두드러졌습니다. 특히, 작업 할당 제약 조건 하에서 규모에 따른 성능은 행동 공간 크기뿐만 아니라 작업 압력, 의사 결정 기회, 상호 의존적인 에이전트 간 중복 선택에 영향을 받는다는 것을 확인했습니다.
연구진은 결과 지표 기반 벤치마킹에 조정에 대한 평가를 보완하는 것이 필요하며, STAT 테스트베드를 활용한 새로운 평가 관점이 MARL 연구 발전에 기여할 수 있다고 주장합니다.