연구진이 시간 제약이 있는 협업 작업을 위한 마인크래프트 기반 다중 에이전트 벤치마크 'TickingCollabBench'를 발표했어요. 이 벤치마크는 에이전트 다양성, 필수 협업, 동적 환경, 엄격한 실시간 제약 조건과 실패 위험을 반영해요.
TickingCollab 프레임워크는 다양한 동적 환경을 생성하고, YAML로 작업 사양을 선언적으로 지정할 수 있도록 마인크래프트 API를 추상화해요.
평가 결과, LLM은 동적 환경에서 높은 지연 시간과 부분 관찰, 에이전트 다양성으로 인해 실패하는 경향을 보이며, 전지적 시점 오라클에 크게 미치지 못하는 것으로 나타났어요.