연구진은 저장소 규모의 취약점 재현이 복잡한 소프트웨어 엔지니어링 작업이며, 에이전트는 코드를 검사하고, 입력 문법을 추론하고, PoC를 생성하고, 패치된 빌드에서 충돌이 사라지는지 확인해야 한다고 밝혔습니다.
Mastermind는 전략이 실행 경로 전체보다 더 적합한 학습 단위라고 주장하며, 전략 학습과 작업별 경험을 분리하는 이중 루프 프레임워크입니다.
GPT-5.5를 고정된 실행기로 사용할 때 Mastermind는 84.5%의 성공률을 달성하여 기존 방법보다 성능이 뛰어났으며, GPT-5.4 mini 및 GLM~5.1의 성능도 향상시켰습니다.
연구 결과는 고수준 전략 학습이 저장소 규모의 소프트웨어 엔지니어링 에이전트를 개선하는 효과적이고 전송 가능한 메커니즘임을 입증합니다.