오프라인 RL 데이터를 활용해 정책을 학습하고, 온라인 상호작용을 통해 개선하는 오프라인-온라인 RL(O2O-RL) 방법이 비정상적인 환경에서 유용해요.
기존 O2O-RL은 알고리즘과 하이퍼파라미터 선택에 따라 성능이 민감하게 달라지는 문제점이 있었어요.
연구진은 온라인 상호작용 예산 내에서 정책 평가와 정책 개선 사이의 균형을 맞추는 능동적 정책 선택 방법을 제안했어요.
새로운 방법은 기존 O2O-RL 방식보다 실험 결과가 좋았으며, 실제 시스템에 적용 가능성을 높였어요.