연구진이 희소 어텐션 알고리즘 설계 및 실험을 가속화하는 Vortex 시스템을 공개했어요. Vortex는 Python 기반 프런트엔드와 페이지 중심 텐서 추상화를 결합하여 다양한 희소 어텐션 알고리즘을 표현하고 배포할 수 있도록 지원해요.
AI 에이전트는 Vortex를 활용해 다양한 알고리즘을 생성하고 개선하여 최대 3.46배 향상된 처리량을 달성하며 정확도를 유지했어요.
Vortex는 GLM-4.7-Flash 모델에서 최대 4.7배, MiniMax-M2.7 모델에서 1.37배 향상된 처리량을 달성하며 새로운 아키텍처와 매우 큰 모델에 희소 어텐션을 확장했어요.