연구진은 Equivariant 네트워크의 FLOPs 효율성을 개선하기 위해 Flash EQ-Linear 알고리즘을 제안했어요. 이 알고리즘은 그룹 차원에서의 푸리에 변환과 실 DFT의 켤레 대칭성을 결합하여 복잡도를 줄여요. Flash EQ-Linear는 PyTorch의 F.linear보다 최대 2배 빠른 속도를 제공하며, Flash EQ-ViT와 Flash EQ-Swin은 기존 모델 대비 최대 1.7배의 속도 향상을 달성했어요.
Flash EQ-Linear는 Equivariant 선형 레이어의 그룹 차원에서의 원형 컨볼루션과 채널 차원에서의 선형 변환을 관찰하여 개발되었어요. 이를 통해 정확도, 파라미터 효율성, 추론 속도 측면에서 Equivariant 네트워크가 비 Equivariant 네트워크를 능가하는 최초의 사례를 만들었어요.
연구진은 Flash EQ-Linear를 위한 CUDA 커널을 제공하여 FP32 및 FP16 정밀도에서 순방향 및 역방향 패스를 모두 지원하며, GitHub에서 코드를 확인할 수 있어요.