NEUIR 연구팀이 LLM의 추론 과정에서 사실 재표현을 통해 정확도를 높이는 REFACT 프레임워크를 발표했어요. REFACT는 모델이 추론 단계에서 문맥적 근거가 필요한 시점과 어떤 수준의 사실을 재표현해야 하는지 판단하도록 훈련해요.
기존 방법과 달리, REFACT는 불필요한 사실 복사를 줄이고 답변을 뒷받침하는 중간 상태로 인용을 활용하여 추론 과정을 개선해요. LongBench, LV-Eval, ConFiQA 데이터셋에서 성능 향상과 토큰 소비 감소를 확인했어요.
연구팀은 REFACT가 답변과 관련된 증거를 더 많이 보존하면서도 더 적은 수의 사실을 재표현하여 더 밀도 높은 추론 과정을 만들어낸다고 설명하며, 관련 코드와 데이터는 GitHub에서 공개했어요.