연구진은 CLIP과 같은 시각-언어 모델(VLM)이 적대적 공격에 취약하다는 점을 확인했어요. 기존 방법은 샘플 수준의 신뢰도 추정에 의존하여 데이터 분포 구조를 간과하고, 진정한 의미론적 일관성을 파악하지 못해요.
RITA는 적대적 왜곡이 구조적으로 취약하다는 점에 착안하여, 증강된 시각적 특징 분포와 텍스트 프로토타입을 정렬하여 적대적 이상치를 완화하고 교차 모달 의미론적 불일치를 수정하는 프레임워크예요.
실험 결과, RITA는 클린 정확도를 손상시키지 않으면서 적대적 견고성을 크게 향상시키는 것으로 나타났어요.