연구진은 피드포워드 네트워크, ResNet, 트랜스포머 등 계층적 모델을 분석하며 각 계층의 폭을 3차원으로 제한했어요.
저차원 공간에서 신경망의 위상적 불변량을 추적하며, ResNet의 레이어 스킵 기능이 트랜스포머의 어텐션 메커니즘만큼 강력하다는 점을 확인했어요.
비단조성 활성화 함수를 사용한 피드포워드 네트워크는 ResNet 및 트랜스포머와 동등한 표현력을 갖추며, 저차원 위상학이 AI 아키텍처 설계에 유용한 도구가 될 수 있음을 시사해요.