연구진은 RGB 이미지와 영상에서 시선 집중 예측이 활발히 연구되는 것과 달리, 이벤트 기반 데이터에서 시선 집중을 예측하는 연구는 미흡한 실정입니다.
데이터 부족과 성능 기준 부재라는 두 가지 어려움을 해결하기 위해 이벤트 데이터 시선 집중 예측 Transformer 모델인 SEST를 새롭게 제안합니다.
SEST는 이벤트 특성을 반영한 사전 훈련과 합성 감독을 통해 이벤트 기반 Swin Transformer 백본과 경량 CNN 디코더를 결합하여 동적 시선 집중 맵을 생성합니다.
N-DHF1K와 N-UCF Sports라는 새로운 벤치마크 데이터셋을 공개하고, 실험 결과 기존 이벤트 기반 방법보다 성능이 우수하며 RGB 모델과의 격차를 좁혔습니다.