연구진은 자율주행 시스템 훈련 및 검증에 필요한 방대한 데이터 확보를 위해 Sensor2Sensor라는 새로운 생성 모델 패러다임을 제안했어요. 이 모델은 일반적인 대시캠 영상을 고품질의 다중 센서 데이터로 변환하여 데이터 격차를 해소합니다. 4D Gaussian Splatting (4DGS) 기술을 활용하여 실제 AV 로그를 대시캠 스타일 영상으로 변환하고, 이를 기반으로 데이터 생성 과정을 구축했어요.
Sensor2Sensor는 확산 아키텍처를 사용하여 대시캠 영상을 다중 뷰 카메라 이미지와 LiDAR 포인트 클라우드로 변환하며, 생성된 센서 데이터의 충실도와 현실성을 평가했어요. 이를 통해 인터넷 및 대시캠 영상과 같은 다양한 데이터를 활용하여 자율주행 시스템 개발에 활용할 수 있습니다.
연구 결과는 자율주행 시스템 개발에 필요한 데이터 확보의 새로운 가능성을 제시하며, 외부 데이터 소스를 활용하여 시스템 성능을 향상시킬 수 있음을 보여줍니다.