연구진은 CLIP의 세밀한 표현 능력 한계를 극복하기 위해 SFF-CLIP(Self-annotated Fine-grained Fine-tuning for CLIP)을 제안했어요. SFF-CLIP은 이미지-텍스트 쌍만 입력받아 CLIP의 세밀한 표현 능력을 향상시키면서도 전반적인 시각-의미 일관성을 유지해요. 런타임 지역-구문 정렬 방식을 통해 입력 문장에서 개념 구문을 추출하고 텍스트별 히트맵을 사용하여 추출된 지역 기반 특징과 정렬해요.
기존 방식이 추가적인 지역 어노테이션을 요구하거나 CLIP의 원래 능력을 희생하는 반면, SFF-CLIP은 이러한 한계를 극복했어요. 실험 결과, SFF-CLIP은 세밀한 표현 능력에서 성능을 크게 향상시켰고 이미지 레벨 작업에서도 CLIP의 원래 성능을 유지했어요.
연구진은 SFF-CLIP의 코드를 추후 공개할 예정이에요.