Conformal Certification (CROP)은 언어 모델 추론 과정의 전방위 인증을 위한 새로운 방법론입니다. CROP은 단계별 위험 지표를 활용하여 안전한 추론 과정을 인증하고, 오류 가능성이 높은 부분은 별도로 처리합니다. 6개의 추론 데이터셋에서 CROP은 기존 지표보다 더 유용한 인증 결과를 제공하며, 유효한 추론 과정을 보존하면서 잘못된 부분을 걸러내는 데 효과적입니다.
CROP은 교환 가능성을 가정하여, 인증된 전방위 과정에 오류가 포함될 확률을 엄격하게 제어합니다. 기존 방법이 최종 답변이나 전체 응답을 인증하는 데 집중하는 반면, CROP은 단계별로 추론 과정을 분석하여 안전한 전방위를 선택합니다. 이를 통해 추론 과정의 중간 단계에 대한 통계적 보장을 제공합니다.
CROP은 검증기(verifier)에 구애받지 않으며, 다운스트림 리뷰나 수리를 위해 안전한 전방위를 선택합니다. 이 연구는 추론 과정 감독, 회피, 수리 간의 연결고리 역할을 하며, 추론 과정의 신뢰성을 높이는 데 기여합니다.