Xiaomi가 380억 파라미터의 멀티모달 모델 'Xiaomi-Robotics-U0'를 공개했어요. 이 모델은 이미지·영상 생성 능력을 활용해 로봇 제어에 필요한 몰입형 환경 생성을 가능하게 해요.
텍스트-이미지 생성, 이미지 편집, 몰입형 장면 생성, 로봇 전이, 몰입형 영상 생성 등 다양한 작업을 통합적으로 최적화하여 사전 학습된 세계 모델의 일반화 능력을 유지하면서 로봇 환경에 적응하도록 설계됐어요.
단일 단계 및 순차적 생성 작업에서 GPT-Image-2.0를 능가하는 성능을 보였으며, 실제 로봇 조작 작업에서 성공률을 36.9%에서 63.2%로 향상시켰어요.
코드와 체크포인트는 Xiaomi Robotics 웹사이트에서 확인할 수 있어요.