연구진은 대규모 추론 모델(LRM)의 확신 표현 신뢰성을 정량화하는 새로운 프레임워크를 제시했어요.
토큰 확률, 은닉 상태, 샘플링된 응답 일관성 등 3가지 내부 불확실성 요소를 기반으로 언어적 결단력을 분석해요.
다양한 모델과 데이터셋을 분석한 결과, LRM은 확신 표현에 어려움을 겪으며, 추론 능력이 향상된다고 해서 반드시 확신 표현이 신뢰성 높아지는 것은 아니에요.
연구는 LRM의 신뢰성 및 정렬 목표로서 확신 표현의 중요성을 강조하며, 고위험 환경에 배포될 때 더욱 중요하다고 지적해요.