Pulse · AI 뉴스

유한 정밀도 환경에서 Tanh 신경망 학습의 한계

arXiv cs.LG · 2026-06-10

본 연구는 Berner, Grohs, Voigtländer (2023)의 연구를 바탕으로 유한 정밀도 계산 환경과 $L^p$ 정확도 보장 하에서 $ anh$ 신경망 학습의 한계를 조사합니다.

반복적인 $ anh$ 활성화를 이용한 날카로운 벙프 함수의 새로운 구조를 통해, 유한 정밀도 환경에서 네트워크 파라미터 및 아키텍처 크기가 기하급수적으로 증가하지 않는 한, $m$개의 샘플을 기반으로 하는 적응적 랜덤 알고리즘이 $L^p$ 노름에서 몬테카를로율인 $O(m^{-1/p})$보다 높은 수렴율을 달성할 수 없음을 입증합니다.

이러한 결과는 유한 정밀도가 국소화된 벙프 함수를 포함하는 클래스의 학습 가능성에 부과하는 근본적인 한계를 드러냅니다.

##신경망##Tanh##학습##유한정밀도##수렴율
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기