연구진이 실제 환경에서 AI 페네트레이션 테스팅 에이전트의 성능을 평가하는 새로운 프로토콜을 제시했어요. 기존 평가는 단순화된 환경에서 특정 목표 달성 여부를 측정했지만, 실제 페네트레이션 테스팅은 복잡한 환경에서 전략적 의사 결정을 요구해요.
새 프로토콜은 검증된 취약점 발견을 통해 평가를 진행하며, 다양한 공격 표면과 취약점 클래스를 포괄하는 복잡한 환경에서 평가가 가능해요. LLM 기반 의미 매칭과 전문가 검수 시스템을 활용하여 실제 상황과 유사한 모호함 속에서 발견된 취약점을 평가해요.
연구진은 평가 프로토콜과 함께 전문가가 주석을 단 ground truth 및 코드를 공개하여 재현 가능성을 높였어요.