사용자가 GRPO 훈련 중 보상 함수 악용 가능성을 감지하기 위해 rewardspy 라이브러리를 개발했어요. 이 라이브러리는 기존 보상 함수를 감싸고 훈련 중 보상 해킹을 나타내는 지표를 지속적으로 모니터링해요. GitHub에서 소스 코드를 확인할 수 있으며, 기술적인 조언을 구하고 있어요.
rewardspy는 롤링 보상 통계, 보상 분산 붕괴, 보상 구성 요소 불균형, 응답 길이 드리프트, 보상 기울기 변화, GRPO 그룹 붕괴 등의 지표를 추적해요. 이는 정책이 실제로 개선되고 있는지, 아니면 보상 함수를 악용하고 있는지 판단하는 데 도움을 줘요.
이 프로젝트는 사용자의 첫 주요 강화 학습 프로젝트이며, 기술적인 조언을 환영해요. GitHub 저장소를 통해 코드를 확인할 수 있어요.