연구진은 자율주행 시스템 훈련에 필요한 현실적인 자율주행 영상 생성 프레임워크 'DriveCtrl'을 개발했습니다. DriveCtrl은 시뮬레이션 영상의 구조를 보존하면서 현실 세계의 스타일을 반영하여 시각적 현실감과 일관성을 높입니다.
기존 방법의 한계를 극복하기 위해, DriveCtrl은 깊이 정보를 기반으로 장면 구조와 움직임을 유지하며, 텍스트 프롬프트와 스타일 참조를 통해 다양한 조건으로 영상을 생성합니다.
새로운 평가 지표인 Driving Video Realism Score (DVRS)를 통해 DriveCtrl이 기존 모델보다 현실감, 시간적 품질, 인지 작업 성능에서 우수한 성능을 보이며 시뮬레이션-현실 격차를 줄이는 데 기여했습니다.