연구진이 지식 기반 분야 LLM의 추론 능력 향상을 위해 RLVR을 확장한 Knowledge-to-Verification(K2V) 프레임워크를 제안했어요. K2V는 자동화된 검증 가능 데이터 합성으로 RLVR을 지식 기반 분야에 적용하고, LLM의 추론 과정을 검증할 수 있도록 설계됐어요. 실험 결과, K2V는 LLM의 추론 능력을 향상시키면서도 일반적인 성능 저하를 최소화했어요.
기존 RLVR은 최종 답변의 정확성만 검증했지만, K2V는 LLM의 추론 과정 자체를 검증하여 잘못된 추론과 희소한 보상 신호의 한계를 극복했어요.
연구 코드와 데이터는 GitHub에서 공개됐어요 (https://github.com/SeedScientist/K2V).