연구진은 LLM의 답변 과정에서 변화하는 신뢰도 정보를 분석하여, 답변 생성 전에 신뢰도를 예측하는 새로운 방법인 '미래 예측 신뢰도 증류'를 제안했어요.
답변 후 신뢰도(JOL)가 답변 전 신뢰도(FOK)보다 정확하고 차별적이라는 점을 확인하고, 이를 바탕으로 답변 생성 전 hidden representation을 활용한 예측 모델을 학습했어요.
새로운 방법은 기존 방식과 유사한 수준의 신뢰도 정확도를 유지하면서도, 추론 시 사전 정보 없이 샘플 효율성도 높고 데이터셋 간 이식성도 뛰어나요.