연구진은 블랙박스 챗봇 환경에서 프롬프트 인젝션을 활용한 개인정보 유출 공격 경로를 분석했어요. 공격자는 외부 콘텐츠를 통해 챗봇의 의도된 작업을 탈취하고, 공격자가 정의한 목표를 실행하도록 유도할 수 있어요. 새로운 기법인 '예시화(exemplification)'는 사용자 프롬프트를 재구성하여 공격 목표를 달성하는 데 효과적이었어요.
연구 결과, 프롬프트 인젝션, 지시어 조작, 웹 도구 호출을 결합하여 챗봇 에이전트의 개인정보 유출 경로를 만들 수 있다는 것을 입증했어요. 가짜 정보가 포함된 외부 콘텐츠를 통해 챗봇을 속여 개인정보를 유출하는 공격 가능성을 보여줬어요.
이번 연구는 배포된 챗봇 에이전트의 보안 취약점을 지적하며, 프롬프트 인젝션 방어 및 안전한 웹 도구 활용의 중요성을 강조해요.