앤트로픽이 개발한 Fable 5와 Opus 4.8 모델이 자동 탈옥 공격에 대한 적대적 견고성을 평가했어요. HackAgent 프레임워크를 사용해 7,826개의 유해 의도를 가진 공격 시도를 진행했어요.
Opus 4.8은 11.5%의 의도에서 탈옥당했지만, Fable 5는 6.1%로 더 높은 성능을 보여줬어요. 하지만 두 모델 모두 지속적인 자동화 압력에 의해 여전히 쉽게 탈옥될 수 있어요.
두 모델은 총 1,620건(Opus 4.8) 및 702건(Fable 5)의 유해한 결과를 생성했는데, 이는 인간 전문가 없이도 쉽게 발견되고 개선될 수 있었어요.