연구진은 양자화된 신경망 모델의 대체재로 가우시안 평균을 연구했어요. 국소 발진이 제한적인 조건에서 가우시안 스무딩과 불연속 네트워크의 안정성 분석 간의 관계를 규명했어요. ReLU 및 sign 활성화 함수의 가우시안 평균을 계산하고 고차원 이진 퍼셉트론에서 시연했어요.
양자화 노이즈를 대체하는 층 전활성화 집계는 추론 시 스무딩과 훈련 시 부드러운 대체 그래디언트를 위한 가우시안 봉투를 제공해요. 이 연구는 양자화 신경망의 안정성과 스무딩 메커니즘에 대한 이해를 높이는 데 기여할 수 있어요.
향후 연구에서는 더 복잡한 네트워크 구조와 다양한 양자화 기법에 대한 가우시안 스무딩의 효과를 분석하고, 실제 응용 분야에서의 성능을 평가할 수 있을 거예요.