연구진은 인간 라벨링 없이 보상 기반 강화 학습을 통해 추론 능력을 끌어내는 제로 RL을 1조 파라미터 규모로 확장했어요. 모델 크기를 키우자 샘플 효율성이 높아지고 성능 상한선이 개선됐어요. 모델은 인간형 특징, 구조화된 형식, 자기 검증, 병렬 추론 등 고급 인지 능력을 스스로 개발했어요. 연구 결과는 7개의 수학 벤치마크에서 경쟁력 있는 성능을 보여줬어요.
제로 RL 모델은 초기 탐색 단계와 이후 성능을 다듬는 단계로 순차적인 학습 과정을 거쳐요. 기존 방식의 문제점(가독성 저하, 토큰 중복, 비적응적 추론 깊이)을 해결하기 위해 알고리즘 및 시스템 최적화 기술을 적용했어요. 연구진은 모델의 추론 품질을 평가하기 위해 이해 가능성, 재현성, 효율성을 기준으로 하는 구조화된 평가 프레임워크를 제안했어요.
연구진은 1조 규모의 모델에서 나타나는 새로운 현상들을 공유하며, 커뮤니티에 더 깊은 통찰력을 제공하고자 합니다. 특히, 모델은 구조화되고 간결한 추론 과정을 생성하는 데 강점을 보였으며, 기존의 수동적인 휴리스틱을 불필요하게 만들었어요.