연구진이 1인칭 시점에서 손 감지를 위한 다중 모드 RGB 및 이벤트 데이터셋을 공개했어요. 기존 RGB 카메라의 한계를 극복하기 위해 이벤트 기반 카메라를 활용하고, v2e 툴박스를 이용해 합성 데이터를 생성했어요. YOLOv8 모델로 생성된 ground truth 데이터를 활용해 기존 객체 감지 알고리즘의 성능을 검증했어요.
이벤트 기반 카메라는 높은 동적 범위, 시간 분해능, 낮은 전력 소비를 제공하며, 기존 RGB 카메라의 모션 블러 문제를 해결할 수 있어요. 합성 데이터셋은 다양한 조명 조건과 크기를 갖도록 생성되었으며, 고해상도 이벤트 데이터에 ground truth를 보간했어요.
연구 결과, 기존 객체 감지 알고리즘을 활용하여 이벤트 및 RGB 카메라의 다중 모드 설정을 통해 최첨단 수준의 성능을 달성했어요.