연구진은 LLM 에이전트의 오작동으로 인한 위험을 줄이기 위해 Safety Sentry라는 새로운 안전 장치를 개발했어요. 기존 방식은 행동의 안전 여부를 이분법적으로 판단했지만, Safety Sentry는 행동 자체의 위험도와 사용자 맥락을 고려해 EXECUTE, ASK, REFUSE 중 하나로 세분화하여 라우팅해요.
Safety Sentry는 단일 디코딩 호출로 추론을 수행하며, 고정된 체크포인트를 다양한 위험 수준에 맞게 재조정할 수 있어 효율적이에요. 기존 모델보다 정확도와 안전 관련 재현율이 높고, 오류 방향 비율을 동시에 제어할 수 있어요.
연구 결과, Safety Sentry는 LLM 에이전트의 안전성을 높이는 데 효과적인 솔루션이며, 사용자 자율성을 유지하면서도 안전한 환경을 제공할 수 있다는 점이 시사돼요.