연구진이 LLM의 안전 취약점을 평가하는 프레임워크 UNIATTACK을 개발했어요. 기존 공격의 핵심 특징을 추출하고, 공격 LLM으로 최적화하여 유연한 템플릿을 생성하는 방식이에요. UNIATTACK은 다양한 모델과 안전 카테고리에 대한 일회성 공격이 가능하며, 기존 방식 대비 공격 성공률이 평균 64.63%에서 248.82% 향상됐어요.
UNIATTACK은 기존 공격의 특징을 분석하여 공격 LLM으로 최적화하는 방식으로, 여러 모델과 안전 카테고리에 적용 가능한 공격 템플릿을 생성해요. 이는 LLM의 견고성을 평가하는 실용적인 도구로 활용될 수 있어요.
연구 결과, UNIATTACK은 다층 방어 메커니즘이 적용된 모델에서 기존 방식 대비 공격 비용은 0.03%에서 4.96% 수준으로 낮추고 공격 성공률을 크게 높였어요. 관련 자료는 anonymous.4open.science에서 확인할 수 있어요.