SABER는 LLM 코딩 에이전트의 운영 안전성을 평가하는 새로운 벤치마크입니다. 모델이 상태 기반 작업 공간에서 안전하게 작동하는지 평가하며, 기존 벤치마크의 한계를 보완합니다. 평가 결과, 최고 성능 모델도 54% 이상의 유해 안전 위반율(HSR)을 보여, 현재 정렬 상태가 현실적인 프로젝트 환경에 부족함을 시사합니다.
SABER는 안전 위반 원인을 분류하여 모델별 안전 프로필 분석을 지원합니다. GitHub에서 벤치마크를 공개하여 연구 커뮤니티의 활용을 독려합니다.
SABER는 실제 에이전트 스타일 프로젝트에서 모델의 안전성을 평가하여, 기존 벤치마크가 간과했던 환경에 대한 인지 능력을 측정합니다.