연구진은 정책 개선 강화 학습(PIRL) 및 실용적인 구현 방식인 정책 개선 정책 최적화(PIPO)를 제안했어요. PIPO는 이전 업데이트를 검증하고 강화하거나 수정하는 플러그 앤 플레이 프레임워크입니다.
PIPO는 탐색 단계에서 정책을 업데이트하고, 재검증 단계에서 이전 업데이트의 성능을 확인하여 성능이 향상되면 강화하고, 성능이 저하되면 수정하는 방식으로 작동해요.
PIRL은 수학적 추론, 코드 생성, 도구 사용, 자기 증류 등 다양한 분야에서 PPO와 같은 기존 RL 알고리즘에 추가하여 훈련 안정성을 높이고 효율성을 개선하는 효과를 보여줬어요.