연구진은 LLM의 추론 능력 향상을 위한 강화 학습에서 문제 샘플링 전략의 중요성을 강조했어요. 기존 커리큘럼 학습 방법은 문제 난이도만 고려하지만, 본 연구는 LLM의 잠재 표현 공간을 활용한 구조화된 문제 샘플링을 제안했어요. Bayesian Manifold Curriculum (BMC) 프레임워크는 문제를 계층적 태스크 트리로 구성하고 베이지안 학습을 통해 샘플링을 안내하며, 난이도 외에 구조와 유형을 고려하는 것이 중요함을 보여줬어요.
BMC는 문제 샘플링 전략이 생산성, 다양성, 유용성 간의 균형을 맞추는 복잡한 상호작용을 유발한다는 것을 발견했어요. 기존 방식처럼 난이도만 우선시하는 것은 효과적이지 않다는 점을 시사하며, LLM 학습 효율성 향상을 위한 새로운 접근 방식을 제시했어요.
연구 결과는 LLM 학습 과정에서 문제 샘플링 전략이 단순한 난이도 조정이 아닌, 잠재 공간의 구조를 이해하고 활용하는 복잡한 과정임을 강조하며, 향후 LLM 연구 방향에 중요한 시사점을 제공합니다.