연구진은 과적합 모델이 노이즈 라벨을 암기하면서도 일반화 성능을 유지하는 공존 메커니즘을 산술 과제와 노이즈 라벨을 통해 연구했어요.
실험 결과, 과적합 모델은 적절한 설정 하에 일반화 성능이 향상되는 반면, 노이즈 라벨은 깨끗한 데이터보다 빠르게 암기되는 경향을 보였어요.
80%의 노이즈 라벨이 존재하더라도 주파수 기반 방법으로 내부 구조를 추출하여 거의 완벽한 테스트 정확도를 달성할 수 있었으며, 네트워크를 일반화 및 암기 구성 요소로 분할하는 방법도 제안했어요.