RoboDream은 실제 로봇 데이터를 수집하는 대신, 합성 데이터를 생성하여 로봇 학습을 확장하는 새로운 세계 모델입니다. 기존 방식의 한계를 극복하고, 장면과 물체 정보를 기반으로 물리적으로 가능한 로봇 움직임을 생성합니다. 이 모델은 기존 경로를 새로운 환경에 재활용하거나, 사용자가 공중에 조작하는 동안 로봇이 물체와 장면을 상상하는 '프로프 프리' 원격 조작 기능을 지원합니다.
실험 결과, RoboDream으로 생성된 데이터는 다운스트림 정책 성능을 향상시키고 실제 로봇 데이터 요구량을 줄이는 데 효과적입니다. 다양한 조작 작업에서 실제 데이터 요구량을 줄이는 데 기여합니다.
RoboDream은 기존의 시각적 증강 방식의 한계를 넘어, 로봇의 움직임과 환경 합성을 분리하여 현실적인 데이터 증강을 가능하게 합니다.