본 논문은 통계적 효율성 관점에서 양위 기반 분포 강화 학습을 연구합니다.
주어진 정책 하에서 할인 누적 보상의 분포를 특성화하는 분포 정책 평가에 초점을 맞춥니다.
양위 고정점 기반 분포 벨만 방정식을 통해 분포의 유한 차원 표현을 얻고, 추정 오차가 $m$과 $n$에 대해 $ ilde{O}( rac{ ext{sqrt}{m}}{n})$으로 스케일링됨을 보입니다.
무한 차원 극한에서 양위 기반 추정기가 비모수 모델의 반정파라메트릭 효율성 경계를 일치시켜 비모수 모델과 동일한 효율성을 유지하는 것을 확인합니다.