연구진이 LLM의 실용적 추론 능력 향상을 위해 자기 지도 프레임워크 PragReST를 개발했어요. PragReST는 반사실적 추론 과정을 통해 데이터를 생성하고 모델을 학습시켜, 명시적으로 언급되지 않은 의미를 이해하는 능력을 높여요.
PragMega, Ludwig, MetoQA, AltPrag 4가지 벤치마크에서 기존 모델과 사전 학습된 모델을 능가하는 성능을 보여줬어요. Qwen3-8B 모델은 정확도 기반 벤치마크에서 instruct 모델 대비 5.37% 향상됐어요.
반사실적 추론 과정을 제거하면 성능이 크게 저하되는 것으로 나타났으며, 일반 지식 및 수학적 추론 벤치마크에서의 성능은 유지돼요.