RLearner-LLM은 LLM이 지식 기반 생성에서 논리적 오류를 범하지 않도록 돕는 새로운 방법입니다. 기존 DPO 방식은 유창성에 치중하여 논리적 정확성이 떨어지는 문제를 개선합니다.
DeBERTa-v3 NLI 신호와 검증 LLM 점수를 결합하여 인간 어노테이션 없이도 LLM의 논리적 정렬을 향상시킵니다.
RLearner-LLM은 LLaMA-2, Qwen3, Gemma 등 다양한 모델에서 NLI 정확도를 최대 6배 향상시키고, GPT-4o-mini와 비교했을 때 간결한 답변을 제공합니다.