연구진은 질문 답변의 신뢰성을 높이기 위해 어떤 지식에 의존하는지 추정하는 '지식 의존도 추정' 방법을 연구했어요. LLM 기반 질문 답변에서 지식은 맥락, 검색, 분해, 중간 추론 등 다양한 경로로 들어오지만, 노이즈가 많고 중복되는 경향이 있어요. Knot이라는 새로운 방법을 제안하여 기존 방법보다 정확하게 지식 의존도를 예측하고, 오류 발생 가능성이 높은 질문 답변을 미리 감지할 수 있어요.
Knot은 부분집합 수준의 반사실적 감독을 통해 학습하고, 잠재적인 의존성 요인에 대한 범위를 모델링하여 순위 정보를 고려한 단위 점수를 도출해요. 다양한 질문 답변 벤치마크에서 기존 방법보다 뛰어난 성능을 보였어요.
Knot은 실제 위험 감지 시 의존도 점수를 활용하여 오류 발생 가능성이 높은 질문 답변을 조기에 식별하는 데 도움을 줘요.