연구진은 공격 및 방어 보안 에이전트의 비용 효율성을 평가하는 새로운 방법을 제시했어요. Cybench 공격 과제와 Splunk BOTS v1 조사 과제를 통해 모델의 성능을 분석했어요. 공격 CTF 성능은 컴퓨팅 자원이 증가할수록 향상되지만, 방어 SOC 조사는 도구 사용의 효율성이 더 중요해요.
오픈 웨이트 모델은 컴퓨팅 자원을 효율적으로 사용하며, 기존의 독점 시스템에 근접하는 성능을 보여줘요. 연구진은 보안 에이전트 벤치마크가 경제적 효율성과 운영 적합성을 함께 측정해야 한다고 주장해요.