연구진은 오프라인 강화 학습에서 분포 변화를 교정하는 점유 비율 평가를 위한 새로운 방법인 FORE(fitted occupancy-ratio evaluation)를 제안했어요.
FORE는 adjoint 벨만 재귀를 통해 할인 점유 비율을 특성화하며, KL 발산에서 로그 비율 클래스로 adjoint 벨만 이미지를 투영하는 단일 레벨 밀도 비율 목표를 사용해요.
기존 방법과 달리 FORE는 점유 비율의 실현 가능성만 요구하며, 상대 엔트로피에서 실제 비율로 수렴하는 조건을 충족해요.
연구 결과는 할인 점유 비율의 실현 가능성을 오프라인 정책 평가를 위한 충분 조건으로 제시하며, 직접 가치 추정, 점유 가중 적합 Q 평가, 이중 견고 추정을 지원해요.