연구진이 이벤트 스트림과 기존 비디오를 결합한 비디오 이상 탐지(VAD) 프레임워크 EVAD를 제안했어요. 이벤트 센서는 빛 변화를 비동기적으로 포착하여 빠른 움직임과 극심한 조명 변화에 강건성을 제공해요.
EVAD 연구를 지원하기 위해 63억 개의 이벤트와 376,368개의 비디오 프레임으로 구성된 대규모 벤치마크 데이터셋을 구축했어요. 다양한 조명, 움직임 패턴, 배경 복잡성을 포함하고 있어요.
연구진은 이벤트 스트림, 가시 비디오, 텍스트 설명을 연결하여 차별적인 이벤트 표현을 학습하는 대비적 다중 모드 사전 훈련 프레임워크를 설계했어요.
TJUTCM Pha 데이터셋 실험 결과, EVAD는 기존 방법보다 성능이 우수했으며, 실제 환경에서 VAD에 이벤트 기반 센싱의 효과를 입증했어요.