제로샷 비디오 모멘트 검색(ZMR)은 텍스트와 시간 범위를 함께 가진 대규모 데이터셋 없이도 비디오에서 특정 순간을 찾는 기술입니다. 기존 ZMR 방법은 쿼리와 비디오 콘텐츠의 유사성에 의존하여 모달리티·언어 스타일 격차에 취약하다는 한계가 있습니다. 연구진은 비디오 내부의 관계를 활용하는 Self-Similarity 기반 모멘트 제안 및 점수 부여 방식을 제안하여 이러한 문제를 해결했습니다.
Self-SiMS는 쿼리-프레임 또는 쿼리-캡션 유사성에서 발생하는 노이즈를 피하고, 텍스트와 비디오 간의 정렬을 개선하기 위해 쿼리 기반 MLLM 추론 단계를 도입했습니다. 연구 결과, Self-SiMS는 ZMR 벤치마크에서 최고 성능을 달성했습니다.