OpenForgeRL은 복잡한 추론 하니스를 사용하는 AI 에이전트의 엔드투엔드 훈련을 지원하는 오픈소스 프레임워크입니다.
가벼운 프록시를 통해 하니스 모델 호출을 기록하고, veRL과 같은 표준 RL 코드로 학습 데이터를 제공하며, Kubernetes 오케스트레이터를 통해 다양한 환경에서 대규모 훈련을 가능하게 합니다.
OpenForgeRL은 ClawEval, QwenClawBench, OSWorld-Verified, Online-Mind2Web, WebVoyager 벤치마크에서 기존 오픈소스 모델보다 뛰어난 성능을 보였으며, 에이전트의 행동과 하니스 선택, RL의 영향을 분석했습니다.