GeoDetect는 VLP 모델의 임베딩 공간 기하학적 구조를 분석하여 적대적 공격을 탐지하는 새로운 방법입니다. VLP 모델은 단일 모달 방식보다 더 복잡한 기하학적 불균질성을 보이며, 적대적 공격은 깨끗한 샘플과 적대적 샘플 간의 기하학적 분리를 증가시킵니다.
GeoDetect는 적대적 샘플이 매니폴드 영역에서 벗어나는 정도를 측정하여 적대적 샘플을 식별합니다. 다양한 VLP 아키텍처와 공격 시나리오에서 효과적인 성능을 보였습니다.
본 연구는 VLP 모델의 안전성과 신뢰성을 향상시키는 데 기여하며, 향후 multimodal 모델의 보안 강화에 중요한 통찰력을 제공합니다.