연구진이 LLM 강화 학습의 효율성을 높이는 SAO(Single-rollout Asynchronous Optimization)를 발표했어요. 기존 방식의 비효율성을 개선하고, 안정성과 성능을 높이는 데 초점을 맞췄어요.
SAO는 그룹 샘플링 대신 단일 롤아웃 샘플링을 사용하고, 토큰 수준의 클리핑 전략을 도입하여 오프라인 효과를 줄이고 일반화 성능을 향상시켰어요.
SWE-Bench Verified, BeyondAIME, IMOAnswerBench 등 에이전트 코딩 및 추론 벤치마크에서 GRPO보다 뛰어난 성능을 보였으며, GLM-5.2 모델(750B) 훈련에도 성공적으로 적용됐어요.