MetaMoE는 개인 정보 보호 제약으로 인해 데이터 공유가 어려운 환경에서 혼합 전문가(MoE) 모델을 통합하는 새로운 프레임워크입니다. 공개 프록시 데이터를 활용하여 개인 데이터를 대체하고, 다양한 도메인에서 전문화된 전문가를 단일 MoE로 통합합니다. 다양성 기반 프록시 선택을 통해 개인 데이터 분포를 효과적으로 근사하고 라우터 학습을 감독합니다.
MetaMoE는 컴퓨터 비전 및 자연어 처리 벤치마크에서 기존 개인 정보 보호 MoE 통합 방법보다 뛰어난 성능을 보였습니다. 전문가 훈련을 정렬하고, 다양한 입력에 대한 전문가 선택을 향상시키는 컨텍스트 인식 라우터를 사용합니다. 코드는 GitHub에서 확인할 수 있습니다.