본 연구는 CLIP과 같은 비전-언어 모델의 교차 도메인 퓨샷 학습(CDFSL)에서 어댑터 기반 방법(LoRA)이 프롬프트 기반 방법(MaPLe)보다 우수한 성능을 보이는 현상을 분석합니다.
연구진은 시각적 CLS 토큰의 주의 집중 문제를 해결하고, 언어와 관련된 시각 영역에 집중하여 양방향 정렬 및 클래스 분리를 강화하는 Semantic Probe라는 프레임워크를 제안했습니다.
4개의 CDFSL 벤치마크 실험 결과, Semantic Probe는 어댑터 기반 및 프롬프트 기반 방법 모두에 효과적이며 최첨단 성능을 달성했습니다.