연구진이 로봇 조작 정책의 종합적인 평가를 위한 통합 시뮬레이션-실제 벤치마크 'RoboDojo'를 공개했어요.
RoboDojo는 42개의 시뮬레이션 작업과 18개의 실제 작업으로 구성되어 있으며, 일반화, 기억, 정밀도, 장기 실행, 개방형 어휘 지시 따르기 등 5가지 차원을 평가해요.
시뮬레이션 벤치마크는 Isaac Sim에서 이질적으로 병렬 처리할 수 있으며, 실제 환경 평가를 위한 클라우드 접근 시스템 RoboDojo-RealEval도 제공돼요.
XPolicyLab과 통합되어 정책을 한 번 통합하면 최소한의 수정으로 시뮬레이션과 실제 환경에서 평가할 수 있으며, 현재까지 30개의 정책이 통합되어 공개 리더보드를 제공하고 있어요.