연구진이 LLM 강화 학습의 효율성을 높이는 Single-Rollout 비동기 최적화(SAO) 기법을 발표했어요. 기존 방식의 비효율성을 개선하고, 안정적인 학습과 뛰어난 성능을 목표로 개발됐어요.
SAO는 그룹 샘플링 대신 단일 rollout 샘플링을 사용하고, 토큰 수준의 이중 클리핑 전략을 도입하여 off-policy 문제를 줄이고 안정성을 높였어요.
SWE-Bench Verified, BeyondAIME, IMOAnswerBench 벤치마크에서 GRPO 방식보다 우수한 성능을 보였으며, GLM-5.2 모델(750B) 학습에도 성공적으로 적용됐어요.