강화 학습(RL) 추적 훈련은 추론, 계획, 피드백 기반 로봇 학습 파이프라인을 위해 기초 모델을 조정하는 데 점점 더 많이 사용되고 있어요. 하지만 제한된 추적 훈련 자원은 종종 총 FLOP 예산으로 요약돼요.
연구진은 GRPO 추적 훈련을 위한 FLOP 회계 프레임워크를 도입하여 롤아웃/탐색, 정책 업데이트/학습, 보상 또는 피드백 모델 평가로 컴퓨팅을 분해했어요.
연구 결과에 따르면 최적의 할당은 모델 크기, 컴퓨팅 예산, 보상 시스템, 평가 대상에 따라 달라져요. 같은 FLOP으로 모델 크기를 비교하면 모델 선택과 훈련 할당이 결합되어야 해요.
규칙 기반 보상은 정책 롤아웃에 거의 모든 비 업데이트 컴퓨팅을 사용하는 반면, PRM 스타일 피드백은 예산의 일부를 보상 모델 추론에 할당해요.