연구진이 오픈소스 멀티모달 센서 플랫폼 'OctoSense'와 59시간 분량의 데이터셋을 공개했어요. OctoSense는 스테레오 RGB, 이벤트 카메라, LiDAR, 열화상 카메라, IMU, RTK GPS, 그리고 로봇의 자율 감각 데이터를 포함합니다.
자가 지도 학습 방식을 통해 다양한 센서 데이터를 융합하여 광학 흐름, 깊이, 의미론적 분할, 자율 주행 추정 등에서 기존 이미지 기반 모델보다 성능이 우수했어요.
OctoSense는 빠른 처리 속도(NVIDIA 5090에서 6.68ms)를 제공하며, 야간이나 센서 데이터가 손상된 상황에서도 안정적인 예측이 가능합니다.