연구진은 Vision-Language 모델(VLM)의 적대적 취약점을 중간 선형 변환의 스펙트럼 구조 관점에서 분석했어요. 새로운 공격 기법(SSGRA)을 제안하여 기존 방식보다 효과적인 공격 가능성을 입증했어요. SSGRA는 VLM의 적대적 취약점에 대한 스펙트럼 해석을 제공하여 모델의 견고성을 높이는 데 기여할 수 있다고 밝혔어요.
SSGRA는 중간 표현을 하위 오른쪽 특이 벡터가 지닌 서브스페이스에 맞춰 공격을 수행하는 방식이에요. 기존 공격 방식 대비 효과가 뛰어난 것으로 나타났어요. 연구 결과는 VLM의 견고성을 향상시키는 데 도움이 될 수 있는 통찰력을 제공해요.
본 연구는 Transformer 기반 VLM의 선형 계층이 해석 가능한 스펙트럼 분해를 허용한다는 점에 주목했어요. VLM의 광범위한 사용을 고려할 때 견고성을 이해하는 것이 중요하다고 강조했어요.