연구진은 로봇 학습을 위한 전이 가능한 운동 우선순위를 학습하는 확장 가능한 방법으로 행동 기반 세계 모델링을 연구했어요. 행동이 시각적 장면의 변화를 어떻게 유도하는지 예측하는 모델을 사전 훈련함으로써, 결과 세계 모델은 외형 수준의 비디오 생성 이상의 재사용 가능한 상호 작용 역학을 포착해요. 연구진은 대규모 로봇 조작 데이터에 실제 행동 주석을 사용하여 멀티뷰 대화형 기본 확산 세계 모델인 A2World를 사전 훈련했어요.
A2World에서 학습된 운동 우선순위를 시뮬레이터 기반 정책 평가 및 확장 가능한 what-if 분석을 지원하는 실세계 시뮬레이터인 A2World-sim과 비디오-행동 공동 예측 모델인 A2World-policy의 두 가지 관점에서 검증했어요. A2World-sim은 세계 모델 롤아웃을 사용하여 실제 로봇 롤아웃을 대체하고, A2World-policy는 시각 및 지침 조건부로 행동을 예측해요.
시뮬레이션 벤치마크 및 실제 로봇 환경에서의 실험 결과, 행동 기반 세계 모델 사전 훈련은 시뮬레이터 중심 및 정책 중심 로봇 학습 모두에 도움이 되는 전이 가능한 운동 우선순위를 제공하는 것으로 나타났어요.