연구진은 이벤트 카메라를 활용한 시각적 음성 인식의 한계점을 극복하기 위해 TVTA(Trajectory-Aware Viseme-Guided Temporal Aggregation) 프레임워크를 제안했어요.
TVTA는 시공간적 특징을 보존하기 위해 TDA(Trajectory-Aware Differential Aggregation)를 통해 각 위치별로 시간적 모델링을 수행하고, VGA(Viseme-Guided Aggregation)를 통해 시각적 음소 기반 시퀀스 감독을 통합했어요.
DVS-Lip 벤치마크 실험 결과, TVTA는 기존 방식보다 효과적이었으며, 시각적 음소 기반 시간 모델링이 이벤트 스트림에서 의미 있는 구조를 학습하는 것을 확인했어요.