연구진은 대규모 시각-언어 모델(LVLM)에 대한 새로운 교차 모드 프롬프트 인젝션 공격 'CrossMPI'를 제안했습니다. 이 공격은 이미지만으로 텍스트와 시각적 입력 모두를 조작할 수 있습니다.
기존 공격의 한계를 극복하기 위해 모델의 시각 임베딩 공간이 아닌 숨겨진 상태 공간을 활용하고, 레이어 선택 전략과 이미지 교란 예산 할당 전략을 도입했습니다.
실험 결과, CrossMPI는 다양한 LVLM과 데이터셋에서 기존 방법보다 성능이 뛰어났으며, 최적의 레이어는 모델 중간에 위치한다는 사실을 밝혀냈습니다.