연구진은 엔드-사이드 장치 배포를 위한 MoE 아키텍처인 DECO를 발표했습니다. DECO는 밀집 Transformer와 동일한 총 파라미터 예산과 학습 토큰에서 성능을 맞추도록 설계되었습니다. ReLU 기반 라우팅을 사용하며, 학습 가능한 전문가별 스케일링을 통해 라우팅된 전문가와 공유 전문가의 기여도를 균형 있게 조절합니다.
NormSiLU 활성화 함수를 도입하여 라우팅된 전문가 활성화 비율의 안정적인 추세를 만들고, 더 높은 내재적 희소성 수준을 달성했습니다. DECO는 전문가의 20%만 활성화하여 밀집 모델의 성능과 일치하고 기존 MoE 기준 성능을 능가했습니다.
연구진은 DECO의 가속화된 커널을 통해 실제 하드웨어에서 3.00배의 속도 향상을 달성했으며, 코드와 체크포인트를 공개할 예정입니다.