연구진이 GRPO의 한계를 극복하기 위해 새로운 방법 TREK을 제안했어요.
TREK은 증류를 모방이 아닌 탐색 지원 확장을 위해 사용하며, 검증된 경로만 활용해 외부 교사 모델을 활용할 수 있어요.
Qwen3 모델에 적용한 결과, AIME 2024/2025에서 성능이 향상되었고, ALFWorld와 ScienceWorld의 성공률도 높아졌어요.
TREK은 어려운 작업 유형에서 초기 학습 단계부터 높은 성공률을 달성하며, 기존 GRPO보다 효율적인 학습을 가능하게 해요.