본 논문은 신경망의 표현력을 설명하는 근사 이론을 다룹니다. 활성화 함수에 대한 조건이 만족되면 신경망은 연속 함수와 같은 넓은 함수 클래스에 밀집되어 있다는 내용을 담고 있습니다. 깊이와 너비의 관계, 그리고 깊은 구조가 매개변수 효율성을 향상시키는 데 기여하는 방식에 대한 연구 결과도 소개합니다.
Kolmogorov–Arnold Networks (KANs)와 같은 대체 아키텍처 패러다임에 대한 최신 개발 내용도 다룹니다. KANs는 근사 이론적 특성에 대한 관심이 높아지고 있습니다.
본 논문은 신경망의 근사 오류와 네트워크 크기, 목표 함수의 매끄러움 간의 관계를 보여주는 정량적 경계를 제시합니다.