ThoughtFold는 장황한 추론 과정에서 불필요한 탐색을 줄이는 새로운 프레임워크입니다. 기존 RLVR 방식이 결과에만 집중해 장황한 과정의 오류를 강화하는 문제를 해결합니다.
내부 선호도 학습을 통해 각 추론 과정에서 불필요한 단계를 식별하고, 핵심적인 추론 단계만 연결하도록 모델을 학습시킵니다.
ThoughtFold는 DeepSeek-R1-Distill-Qwen-7B 모델의 토큰 사용량을 약 56% 줄이면서도 최고 수준의 정확도를 유지했습니다.