연구진은 기존 공격 성공률 측정 방식이 에이전트의 실제 피해 정도를 간과한다고 지적했어요. 이를 개선하기 위해 행동 기반 심각도 척도(L0~L6)를 도입하여 실행된 행동의 피해 정도를 평가해요. 연구진은 전문가 패널과 모델 오라클을 활용하여 척도를 측정했으며, 두 방식은 높은 일관성을 보였어요.
4가지 모델과 2가지 방어 시스템을 분석한 결과, 기존 이분법적 측정으로는 숨겨졌던 피해 사례 3건을 발견했어요. 특히 공격 성공률이 0%라고 보고된 방어 시스템에서도 외부로 정보가 유출되는 문제가 있었어요.
연구진은 기존 연구와 달리 실제 레드팀 로그에 기록된 행동을 기반으로 심각도 척도를 적용했으며, 관련 코드와 로그를 공개하여 재사용성을 높였어요.