DINORANKCLIP은 CLIP의 구조적 약점을 개선하기 위해 제안된 사전 훈련 프레임워크입니다. DINOv3 교사를 활용하여 시각-언어 표현 학습을 향상시키고, 고차 랭킹 모델을 도입하여 세부적인 구조적 추론 능력을 강화합니다.
RANKCLIP의 단점을 보완하기 위해, DINORANKCLIP은 가벼운 학생 모델과 멀티 스케일 퓨전 모듈을 사용하여 시각적 표현의 세부적인 구조를 보존합니다.
Conceptual Captions 3M 데이터셋을 사용하여 단일 8 GPU H100 노드에서 72시간 동안 훈련했으며, CLIP, CyCLIP, ALIP, RANKCLIP보다 우수한 성능을 보였습니다.