NVIDIA가 자율주행 시뮬레이션 환경의 한계를 극복하기 위해 OmniDreams를 공개했어요. OmniDreams는 Cosmos 모델을 기반으로 실시간으로 액션 기반 비디오를 생성하는 생성 월드 모델이에요.
기존 시뮬레이터가 겪던 극단적인 기상 조건이나 예측 불가능한 행동과 같은 복잡한 현상 생성의 어려움을 해결하고, 21,000시간의 주행 시나리오로 학습했어요.
Alpamayo 1 정책 모델과 AlpaSim 오케스트레이터와 결합하여 반응성이 뛰어난 환경을 제공하며, 기존 방식 대비 5분의 1 파라미터로 NuRec 데이터셋에서 더 나은 성능을 보여줬어요.
OmniDreams는 자율주행 정책 훈련 및 평가를 위한 확장 가능하고 종합적인 솔루션이며, 정책 아키텍처의 기반이 될 가능성도 보여줬어요.