비디오 객체 분할(VOS)은 비디오 이해의 핵심 과제로, 프레임 간 객체의 정확한 윤곽선 파악과 일관성 있는 추적을 요구합니다. 기존 지도 학습 방식은 성능이 좋지만, 수집 및 적용 범위가 제한적인 대량의 어노테이션 데이터가 필요합니다. 자기 지도 학습은 수동 레이블 없이도 가능하여 유망한 대안을 제시하지만, 공간 정확도와 시간적 일관성을 동시에 유지하는 데 어려움을 겪습니다.
연구진은 어텐션 기반 토큰 선택과 경량화된 시간 클러스터링을 결합하여 중간 수준의 부분 인식 표현을 학습하는 자기 지도 프레임워크인 교차 시간 일관성 및 클러스터링을 제안합니다. 픽셀 또는 전체 객체 수준이 아닌, 가중치 기반의 대칭 일관성 객관 함수를 사용하여 시간 경계의 부드러운 부분 할당을 정렬합니다.
연구진은 가중치 기반의 대칭 일관성 객관 함수를 사용하여 시간 경계의 부드러운 부분 할당을 정렬합니다. 적응형 토큰 선택과 다중 오프셋 시간 정렬을 위한 경량화된 모듈을 활용하여 다양한 해상도와 운동 패턴에 효율적으로 확장할 수 있습니다.