Xiaomi가 380억 파라미터의 멀티모달 모델 'Xiaomi-Robotics-U0'를 공개했어요. 이 모델은 텍스트-이미지 생성, 이미지 편집, 임베디드 장면 생성, 임베디드 전이, 임베디드 비디오 생성을 통합적으로 최적화해요.
기존 방식과 달리 사전 학습된 세계 기반 모델의 일반화 능력을 유지하면서 로봇 환경에 적응하도록 설계됐어요. 여러 로봇 제어 환경에서 고품질 멀티뷰 장면 생성과 구조화된 임베디드 전이를 지원해요.
단일 단계 및 순차적 생성 작업에서 GPT-Image-2.0를 능가하는 성능을 보였으며, 실제 조작 작업에서 pi_0.5의 환경 외 성공률을 36.9%에서 63.2%로 향상시켰어요.
코드와 체크포인트는 Xiaomi Robotics 웹사이트에서 확인할 수 있어요.