연구진이 대비 학습에서 간단한 이미지와 증강 기법이 유용한 표현을 만드는 이유를 분석했어요. 특정 증강 기법에서는 CNN의 첫 번째 레이어가 사인파 필터를 사용하고, 포인트별 비선형성, 전역 평균 풀링, 부분 표백을 수행하는 선형 레이어를 거치면 최적값을 얻을 수 있어요. 복잡한 증강 기법에서도 최적의 가중치는 사인파로 유지되며, 데이터셋의 예상 전력 스펙트럼을 통해 간단한 수위 채우기 알고리즘으로 계산할 수 있어요.
다양한 이미지 데이터셋과 증강 기법을 사용한 실험에서 SGD를 통해 훈련된 CNN은 첫 번째 레이어에서 사인파를 경험적으로 학습하고 부분 표백을 수행하는 것을 확인했어요. 이 연구는 대비 학습의 작동 원리를 이해하고 더 나은 표현 학습 모델을 설계하는 데 기여할 수 있어요.
본 연구는 이미지 데이터셋의 통계적 특성을 활용하여 CNN의 구조와 가중치를 결정하는 새로운 접근 방식을 제시하며, 이는 향후 인공지능 모델 개발에 중요한 시사점을 제공할 수 있어요.