연구진이 다중 에이전트 AI의 배포 규칙을 테스트하는 제도적 레드 팀 테스트 방법론을 소개했어요. 에이전트, 목표, 작업 상태는 고정하고 규칙만 변경하여 집단 행동 변화를 분석합니다. IABench-CA 벤치마크에서 5가지 규칙과 7가지 모델 인구(33,924 게임)를 대상으로 테스트했어요.
결과적으로 배포 규칙은 집단 안전에 직접적인 영향을 미쳐, 규칙 변경 시 치명률이 최대 58%p 변화했어요. 안전한 기본 규칙은 없으며, 표적 위험은 보편적입니다.
규칙 텍스트에 손실 주체를 명시하는 것만으로도 표적 제거율이 22%에서 81%로 증가하는 것으로 나타났어요. 반복 플레이 시에는 익명화가 표적 제거를 지연할 뿐입니다.
연구진은 배포 환경과 모델 인구에 따른 안전 규칙 영역을 설정하고, 잔여 위험과 모니터링 의무를 명시하는 안전성 검증 워크플로우를 제공합니다.