연구진이 LLM 에이전트의 안전성 테스트를 자동화하는 프레임워크 'Vera'를 개발했어요. 기존 방식은 전문가가 설계한 안전 취약점을 테스트하고, 하드코딩된 규칙으로 결과를 평가해 유지보수가 어렵다는 한계가 있었어요.
Vera는 문헌 기반 탐색을 통해 새로운 위험을 발견하고, 조합을 통해 실행 가능한 안전 사례를 생성하며, 실행 환경과 도구 호출 기록을 기반으로 결과를 검증하는 3단계 파이프라인으로 구성돼요.
OpenClaw, Hermes, Codex, Claude Code 등 4개의 생산 에이전트 프레임워크에서 테스트한 결과, 평균 공격 성공률이 93.9%에 달하는 상당한 안전 취약점이 발견돼요. Vera-Bench 코드도 공개됐어요.