연구진은 CLIP 모델이 이미지 내 텍스트로 인해 시각적 표현이 왜곡되는 타이포그래픽 공격(TA)에 취약하다는 점을 밝혀냈습니다. 새로운 훈련 없이 개념 위치 추적 방법을 통해 ViT의 특정 구성 요소가 텍스트 정보를 과도하게 인코딩한다는 것을 밝혀냈습니다. 제안된 방법은 어텐션 가중치 조절과 같은 간단한 개입을 통해 객체 분류에서 타이포그래픽 공격에 대한 강건성을 크게 향상시킵니다.