연구진은 LLM 탈옥 공격이 일반 사용자에 의해 악용될 수 있다는 우려를 검증했어요. 밴딧 알고리즘을 활용해 최적의 탈옥을 효율적으로 학습하고, FrankensteinBench라는 악성 쿼리 벤치마크를 구축했어요. 실험 결과, 탈옥 공격 성공률은 평균 97%에 달하며, 쿼리 복잡성을 높이면 공격 성공률이 최대 26%까지 향상돼요.
FrankensteinBench는 7개의 기존 벤치마크에서 수동으로 큐레이션하고 자동화된 향상 및 생성을 통해 11,279개의 악성 쿼리로 구성돼 있어요. 쿼리는 제작에 필요한 기술 전문성에 따라 단순 또는 복잡으로 분류돼요.
연구 결과, 탈옥 공격의 우려가 현실임을 확인했으며, 쿼리 복잡성을 높이는 것이 효과적인 자동화된 프롬프트 전략이 될 수 있음을 밝혔어요.