연구진은 비검증형 강화 학습(RL)에서 LLM 판별자의 프롬프트 기반 채점 기준을 정책 훈련 과정에 맞춰 조정하는 기존 방식의 한계를 지적했어요.
LLM-as-a-Tutor 프레임워크는 LLM의 역할을 판별자에서 튜터로 확장하여 정책 훈련에 필요한 프롬프트 난이도를 자동으로 조절하고 정책 능력에 맞춰 난이도를 높여요.
세 가지 복잡한 명령어 추종 벤치마크에서 LLM-as-a-Tutor는 기존 방식보다 뛰어난 성능을 보이며, 프롬프트 적응이 정책 인식 RL에서 중요한 요소임을 보여줬어요.