희소성 학습은 메모리와 계산 비용을 줄이지만, 희소성 제어 파라미터의 민감도가 높은 문제가 있습니다. 특히 LinBreg와 AdaBreg는 동일한 희소성을 달성하는 데 파라미터 값이 최대 두 배 차이가 납니다. 이를 해결하기 위해 모델의 현재 희소성과 목표 희소성 간의 차이를 기반으로 파라미터를 업데이트하는 적응적 정규화 방식을 제안합니다.
ECAPA-TDNN과 ResNet34를 사용하여 VoxCeleb 및 CNCeleb 데이터셋에서 자동 화자 인증 실험을 진행한 결과, 75%에서 99% 사이의 희소성 목표를 안정적으로 달성했습니다. 초기 훈련 단계에서 오라클 튜닝된 비적응적 기준선보다 빠르게 수렴하고 최종 성능도 능가했습니다.
제안된 적응적 방식은 밀집 기준선에 비해 향상된 Out-of-Distribution 강건성을 포함하여 기존 비적응적 방식의 주요 특성을 상속합니다.