AI 에이전트의 가장 심각한 취약점은 프롬프트 인젝션입니다. 기존 방어 방식은 문맥 조작 공격을 탐지하지 못하고 적절한 문맥 행동을 저해합니다. 연구진은 프롬프트 인젝션을 정보 흐름 준수 여부를 판단하는 개인 정보 보호 이론인 맥락적 무결성(CI) 관점에서 재해석했습니다. 이를 통해 현재 방어가 시도하는 패치와 미래 에이전트가 직면할 고급 공격을 예측할 수 있습니다.
문맥 흐름을 왜곡하거나, 규범을 조작하거나, 여러 흐름을 혼합하는 방식으로 에이전트가 규범을 위반하는 긍정적 및 공격적 시나리오를 개발했습니다. 연구 결과, 방어자는 항상 차단된 흐름이 합법적으로 보이는 문맥을 구성할 수 있으므로, 규범을 강화하는 방어자는 진정으로 합법적인 흐름을 차단할 수 있다는 불가능성 결과를 제시합니다.
현재 연구는 미래 공격 표면의 점점 더 작은 부분을 다루고 있으며, CI를 통해 문맥별 실패를 평가하고 CI를 고려한 정렬을 설계하는 원칙적 프레임워크를 제공합니다.