본 논문은 Generative Flow Network(GFlowNet) 프레임워크에서 확률적 정책을 훈련하는 정책 그래디언트 알고리즘을 탐구해요. GFlowNet과 엔트로피 정규화 강화 학습 간의 이론적 연결고리를 바탕으로, GFlowNet 훈련을 위한 정책 그래디언트 알고리즘을 도출하고 실험적으로 다양한 방법론적 측면을 분석했어요.
기존 GFlowNet 훈련 목표 대비 빠른 수렴 속도와 데이터 효율성을 보이는 Proximal Policy Optimization(PPO)을 GFlowNet에 처음으로 도출하고 적용했어요.
합성 에너지부터 분자 그래프 생성까지 다양한 벤치마크에서 PPO 적용을 통해 GFlowNet 훈련 효율성을 입증했어요.