DNN 검증 비용 절감을 위해 신경 붕괴에 기반한 테스트 케이스 우선순위 지정 프레임워크 NCIP를 제안했어요. 기존 방법은 출력 확률 기반 신뢰도에 의존하지만, DNN은 확신에 차서 틀릴 수 있다는 한계를 극복해요.
NCIP는 훈련 체크포인트의 예측 변동성을 활용하여 경계 부근의 불안정한 샘플을 우선순위로 지정해요. equiangularity 점수를 활용하여 체크포인트 서브셋을 선택하고, 예측 변동성을 기준으로 테스트 입력을 우선순위화해요.
다양한 데이터셋과 아키텍처에서 실험한 결과, NCIP는 기존 방법보다 초기 오류 발견 성능이 뛰어나 RAUC-ALL에서 1.5~16.6% 향상, RAUC-500에서 4.9~20.6% 향상된 결과를 보여줬어요.
NCIP는 데이터셋-모델 조합에서 가장 우수한 평균 성능을 달성했어요.