연구진은 1회성 크기 가지치기가 높은 희소성 환경에서 심각한 정확도 저하를 유발하는 문제를 분석했습니다. 기존의 레이어별 활성화 복구 방법은 손상된 채널을 과도하게 증폭시킬 수 있다는 문제점을 지적합니다.
Adaptive Signal Resuscitation (ASR)은 각 출력 채널에 대한 분산 매칭 교정을 추정하고 데이터 기반 축소 규칙으로 안정화하여 손상된 채널을 복구하는 채널별 복구 방법입니다.
ResNet-50 모델에서 90% 희소성 설정 시, ASR은 CIFAR-10에서 55.6%의 최고 1위 정확도를 회복하여 레이어별 복구 (41.0%) 및 BatchNorm-만 재구축 (28.0%)보다 우수한 성능을 보였습니다.