연구진은 ReLU의 단점을 보완하는 새로운 활성화 함수 패밀리인 Geometric Monomial (GEM)을 제안했어요. GEM은 순수 유리수 연산으로 구현되었으며, ReLU와 유사한 성능을 보이면서도 더 부드러운 특성을 가지고 있어요.
GEM 패밀리에는 GEM, E-GEM, SE-GEM 세 가지 변형이 있으며, E-GEM은 ReLU 근사, SE-GEM은 죽은 뉴런 제거에 활용돼요.
다양한 실험 결과, GEM은 CNN과 트랜스포머 모델 모두에서 GELU보다 우수한 성능을 보이거나, GELU와 동등한 수준의 성능을 달성했어요.