과학적 머신러닝은 예측 성능을 보고하지만, 동일한 예측이 다른 학습 데이터 추출에서 생존할 수 있는지 여부는 보고하지 않습니다.
9개의 화학 벤치마크에서 동일한 학습 세트의 독립적인 부트스트랩으로 학습된 두 개의 분류기는 집계 정확도에서 1.3~4.2% 포인트 내에서 동의하지만, 테스트 분자의 클래스 레이블에 대해 8.0~21.8%가 다릅니다.
연구진은 이 격차를 '교차 샘플 예측 변동'이라고 부르며, 표준 파라미터 측기법으로는 감소시키기 어렵지만 데이터 측기법으로는 감소시킬 수 있습니다.