연구진이 경로 정규화 확률 최적 제어(TRSOC)를 제안했어요. TRSOC는 표준 확률 최적 제어(SOC)에 컨트롤된 경로와 참조 경로 분포 간의 쿨백-라이블러(KL) 발산을 추가합니다. 기르사노프 정리 활용으로 경로 KL은 드리프트 불일치 페널티로 줄어듭니다.
수정된 실행 비용은 동적 프로그래밍(DP) 구조를 유지하며, 해밀턴-야코비-벨만(HJB) 방정식을 도출하고 최적 정책을 특성화합니다. 선형-2차(LQ) 설정에서 증강된 제어 비용으로 폐쇄형 솔루션을 얻을 수 있습니다.
실험 결과 정규화 파라미터는 성능 중심적 행동과 참조 보존 행동 간의 균형을 유도하며, 오프라인 데이터에서 학습된 참조 역학의 경우도 포함합니다.