연구에서는 두 개의 호텔을 시뮬레이션하여 학습 에이전트가 고정된 규칙 기반 경쟁자와 대항할 때 잘못된 행동을 진단합니다. 표준 학습 에이전트는 거의 참조 수준의 RevPAR를 얻을 수 있지만 시장과 유사한 수율 관리를 배우지 못하고 공격적으로 판매하거나 가격을 삭감하는 등의 문제를 보입니다.
연구진은 RevPAR, 점유율, ADR, 전체 가격 버킷 분포, L1/JS 거리, 시드 수준 신뢰 구간을 사용한 추적 수준 진단 프로토콜을 도입했습니다. 검증된 해결책은 추적 우선 RL로, 지연된 시장 추적에서 분포형 시장 우선순위를 학습한 다음 RevPAR 보상과 학습된 우선순위에 대한 KL 페널티를 사용하여 확률적 가격 정책을 훈련합니다.
연구진은 스칼라 보상이 쉽게 조작될 수 있고 의도한 동작이 추적에서만 보이는 에이전트 시스템에 대한 재현 가능한 실패 및 복구 레시피가 기여한다고 주장합니다. 중요한 발견 사항은 정확한 작업 정확도가 높아지면 대상이 분포형일 때 집계 추적 정렬이 악화될 수 있다는 것입니다.