연구에 따르면 LLM은 틀린 답변과 답변할 수 없는 질문을 구별해야 하며, 기존의 신뢰도 기반 방식으로는 이를 구분하기 어렵습니다.
다양한 모델을 분석한 결과, 답변 정확도와 질문 답변 가능성은 별개의 축으로 존재하며, 숨겨진 상태에 대한 선형 탐침은 질문 답변 가능성을 판단하는 데 효과적입니다.
모델 크기가 커져도 질문 답변 가능성 판단의 오류는 줄어들지 않으며, 특히 거짓 전제 기반 질문에서 더욱 심각하게 나타납니다.
연구진은 거짓 전제 질문을 탐지하는 선형 탐침을 활용하여 모델의 답변 정책을 개선하고, 답변 정확도와 질문 답변 가능성을 모두 고려한 정책을 개발했습니다.