연구진은 ReLU, GELU 같은 활성화 함수와 지수 소프트맥스가 메타포머 스타일 비전 백본에서 필수적인 요소가 아니라는 것을 입증했어요. MLPs, 컨볼루션, 어텐션 등 핵심 구성 요소에 다항식 대안을 적용하기 위해 Hadamard 곱을 사용했어요. PolyNeXt 모델은 ImageNet 분류, ADE20K 의미론적 분할, Out-of-distribution 강건성에서 활성화 기반 모델을 능가하거나 동등한 성능을 보여줬어요.
기존 다항식 네트워크보다 계산 비용을 절감하면서도 우수한 성능을 달성했어요. 이는 표준 모듈의 다항식 변형이 복잡한 맞춤형 아키텍처보다 우수함을 보여주는 결과예요. 연구는 메타포머 프레임워크 내에서 구현돼 모듈식 비전 백본을 구축하는 데 기여했어요.
이 연구는 활성화 함수 없이도 이미지 인식 성능을 유지할 수 있음을 보여줌으로써 비전 모델 설계에 새로운 가능성을 제시했어요.