연구진은 기존 신경망 표현력 이론이 정확한 실수의 연산을 가정하지만, 실제 신경망은 유한 정밀도 부동소수점 연산과 구현 종속적인 실행 의미론 하에서 실행된다는 점에 주목했어요.
이번 연구에서는 임의 감소 차수와 제한된 ulp 오차를 갖는 부정확 활성화 구현을 포함하는 일반화된 부동소수점 실행 의미론 하에서 신경망의 표현력을 분석했어요.
연구 결과, 첫 번째 레이어에서 모든 입력 쌍을 구별할 수 있는 능력이 보편적인 표현 가능성의 필요 조건이며, 이를 통해 기존의 올바르게 반올림된 코사인 활성화와 같은 반례를 확장했어요.