연구진은 머신러닝 모델의 신뢰성 평가에 있어 예측 확률의 신뢰성뿐 아니라 모델이 보고하는 인식적 불확실성 자체의 신뢰성까지 고려해야 한다고 주장해요.
새로운 기준인 인식적 교정(epistemic calibration)은 모델 예측이 정답 주변에 얼마나 흩어져 있는지 정확히 반영하는지 측정하며, 기존 방식으로는 감지할 수 없는 오류를 드러낼 수 있어요.
연구진은 인식적 교정 오류(EECE)를 제안하고, 다양한 불확실성 추정 방법론을 실험한 결과, 인식적 교정은 유의미한 기준이며 방법론 간 차이를 보여주었어요.