연구진은 공격 및 방어 보안 에이전트의 성능을 평가할 때 비용 효율성을 고려해야 한다고 주장해요. Cybench 공격 과제와 Splunk BOTS v1 조사 과제를 통해 모델의 성능을 분석했는데요. 공격 CTF 성능은 추가 컴퓨팅 자원으로 개선되지만, 방어 SOC 조사는 도구 사용의 효율성이 더 중요해요.
공격 모델은 테스트 시간 컴퓨팅이 증가함에 따라 성능이 향상되며, 오픈 웨이트 모델은 비용 경쟁력을 유지하면서 최첨단 독점 시스템에 근접할 수 있어요. 하지만 방어 SOC 조사는 단순히 추론 예산을 늘리는 것만으로는 성공률이 높아지지 않아요.