연구진은 기존 동기식 RL 파이프라인의 비효율성을 해결하기 위해 비동기식 RL 방식인 SAO(Single-rollout Asynchronous Optimization)를 제안했어요.
SAO는 그룹 샘플링 대신 단일 배포 샘플링을 사용하고, 토큰 수준 클리핑 전략을 도입하여 안정성과 일반화 성능을 향상시켰어요.
SWE-Bench Verified, BeyondAIME, IMOAnswerBench 등 에이전트 코딩 및 추론 벤치마크에서 GRPO 방식보다 우수한 성능을 보였고, GLM-5.2 모델 훈련에 성공적으로 적용됐어요.