연구팀은 RAG 시스템의 정보 유출 위험을 평가하는 LeakDojo 프레임워크를 공개했어요. LeakDojo를 통해 6가지 공격 기법을 14개 데이터셋과 다양한 RAG 시스템에서 테스트했답니다.
LLM의 지시사항 추종 능력과 공격 지시문이 유출 위험에 영향을 미치며, 이 두 요소의 곱으로 유출 정도를 예측할 수 있다는 사실이 밝혀졌어요.
RAG 시스템의 정확도 향상이 오히려 정보 유출 위험을 높일 수 있다는 점도 확인되었어요. LeakDojo 코드는 GitHub에서 확인할 수 있습니다.