연구진은 딥러닝 모델 학습 및 일반화 성능 향상을 위한 파라미터 노이즈 주입 기법을 연구했어요. 미니 배치 학습 시 각 훈련 예제에 고유한 노이즈를 효율적으로 주입하는 방법과 복잡한 노이즈 파라미터화가 단순한 방식보다 의미 있는 이점을 제공하는지 조사했어요. 연구 결과, 간단한 방식인 단일 노이즈 주입으로도 복잡한 방식과 유사한 성능을 얻을 수 있었어요.
연구진은 선형 레이어에 대한 분포적 항등식을 활용하여 각 훈련 예제에 고유한 노이즈를 주입하는 방법을 개발했어요. 다양한 노이즈 수준에서 CIFAR100 데이터셋에 대해 여러 가지 가우시안 파라미터화를 비교한 결과, 단순한 방식이 더 효과적이었어요. 이 연구는 파라미터 노이즈 주입 시 단순함이 충분하다는 것을 보여줍니다.
연구 결과, 복잡한 노이즈 설계 없이도 최적화 및 일반화 이점을 얻을 수 있다는 점을 시사하며, 실무자는 더 간단한 방식을 채택하는 것이 좋다고 제안합니다.