연구진은 강화 학습에서 정책과 환경 파라미터를 함께 최적화하는 새로운 프레임워크를 제시했어요. 환경 파라미터 기울기 정리를 통해 환경 파라미터에 대한 가치 함수 기울기를 공식적으로 표현했어요. UAV 네트워크 설계 문제에 적용하여 통신 비용 최소화 효과를 입증했어요.
연구는 정책과 환경을 분리하여 최적화하는 기존 강화 학습 방식의 한계를 극복하고, 환경 파라미터와 정책을 동시에 학습하는 모델 프리 알고리즘을 개발했어요. 새로운 가치 함수 $Q_{π,ξ}(s,a,ζ)$를 활용하여 환경 파라미터에 대한 기울기를 계산하는 방법을 제시했어요.
UAV 네트워크 설계 문제에서 UAV 위치(환경 파라미터)와 통신 경로(정책)를 공동으로 학습하여 전체 통신 비용을 줄이는 데 성공했어요. 이 연구는 강화 학습 분야에서 환경 설계의 중요성을 강조하고, 실제 시스템 적용 가능성을 높일 수 있을 것으로 기대돼요.