디퓨전 기반 경로 계획기는 오프라인 강화 학습에서 뛰어난 성능을 보이지만, 반복적인 디노이징 과정으로 인해 추론 비용이 높습니다. 컨시스턴시 기반 계획기는 샘플링 단계를 줄이지만, 보통 두 단계의 교사-학생 증류 파이프라인에 의존하여 훈련 비용을 늘리고 불안정성을 초래합니다. STP(단축 경로 계획)는 효율적인 경로 생성기를 포함하는 오프라인 모델 기반 강화 학습 프레임워크입니다.
STP는 단일 단계에서 조건부 단축 경로 모델을 훈련하고, 단계 크기 조건화를 통한 조정 가능한 단일 단계 및 소규모 단계 추론을 지원하며, 타당성 인지 수정이 포함된 비평가를 사용하여 후보 계획을 선택합니다. 표준 D4RL 벤치마크에서 로봇 이동, 내비게이션, 조작, 숙련된 제어 작업에서 강력한 성능을 달성하면서 빠른 생성 계획을 위한 훈련 파이프라인을 단순화합니다.
STP는 기존 방식보다 훈련 과정을 단순화하고 추론 비용을 절감하여 오프라인 강화 학습의 효율성을 높이는 데 기여합니다.