연구진은 GRPO의 한계를 극복하기 위해 TREK(Teacher-Routed Exploration via Forward KL)이라는 새로운 방법을 제안했어요.
TREK은 기존 모델의 성능을 활용해 어려운 프롬프트에 대한 탐색 범위를 확장하고, 검증된 솔루션을 활용해 학생 모델을 개선하는 방식이에요.
Qwen3 모델에 TREK을 적용한 결과, AIME 2024/2025 문제 해결 능력이 각각 51.1/40.3으로 향상되었고, ALFWorld/ScienceWorld 성공률도 크게 증가했어요.
TREK은 외부 교사 모델 없이도 자체 모델을 활용할 수 있으며, 어려운 작업 유형에서 초기 학습 단계부터 높은 성공률을 달성하는 장점이 있어요.