DevicesWorld는 여러 장치 환경에서 LLM 기반 에이전트의 협업 성능을 평가하는 대규모 실행 가능 벤치마크입니다. 모바일, 데스크톱, IoT 장치를 통합하여 6,140개의 작업을 포함합니다. 현재 벤치마크는 단일 환경에 집중하는 경향이 있어, 장치 간 정보 통합 및 작업을 수행하는 에이전트의 성능을 제대로 평가하기 어렵습니다.
5개의 최첨단 LLM 에이전트 시스템을 DevicesWorld로 평가한 결과, 성공률은 12.5%에 불과했습니다. 실패 원인으로는 정보 획득 실패, 인터페이스 조작 오류, 장치 혼동 등이 지적되었습니다. DevicesWorld는 신뢰성 있는 장치 간 에이전트 연구를 위한 실행 가능하고 재현 가능한 평가 문제를 제시합니다.
DevicesWorld는 자연어 목표, 장치 상태, 실행 가능한 작업, 검증 규칙, 정리 절차를 정의하여 실제 사용자 요구 사항에 가깝게 유지합니다. 자동화된 검증을 통해 최종 결과를 장치 상태 및 생성 파일에서 확인할 수 있습니다.