이론적 연구에 따르면, 컴팩트 도메인 내 미분 가능 함수는 함수 값과 그레디언트를 근사하는 신경망으로 표현될 수 있습니다. 하지만 실제 구현에서는 유한한 실수 집합과 반올림 오차가 있는 연산을 사용하기 때문에 이 결과를 직접 적용하기 어렵습니다.
본 연구에서는 자동 미분 알고리즘 $D^ ext{AD}$을 사용하여 부동소수점 연산 환경에서 신경망이 유사한 결과를 보이는지 조사했습니다. 부동소수점 함수 $φ$가 주어지면, 신경망 $f$와 $D^ ext{AD}(φ ext{∘}f)$가 각각 임의의 함수 값과 그레디언트를 표현할 수 있음을 보였습니다.
연구 결과는 ReLU, ELU, GeLU, Swish, Sigmoid, tanh와 같은 실제 활성화 함수에도 적용됩니다.