Mixture-of-Experts (MoE) 모델은 희소 전문가 활성화를 통해 일부 파라미터만 사용합니다. 스펙MD는 다양한 하드웨어 구성에서 캐시 정책을 벤치마킹하기 위한 표준화된 프레임워크입니다. 기존 연구는 하드웨어 중심 캐시 정책을 제안했지만, 다양한 캐시 정책과 하드웨어 사양이 어떻게 상호 작용하는지는 잘 알려져 있지 않았습니다.
스펙MD는 전문가 캐시 메커니즘의 성능을 분석하고, 다양한 캐시 정책과 하드웨어 구성 간의 관계를 이해하는 데 목표를 두고 개발되었습니다. 이를 통해 MoE 모델의 실제 성능 향상을 위한 기반을 마련하고자 합니다.
연구진은 스펙MD를 통해 다양한 캐시 정책의 장단점을 비교 분석하고, MoE 모델의 효율적인 운영을 위한 최적의 캐시 전략을 제시할 수 있을 것으로 기대합니다.