연구진이 데이터 불균형 문제를 해결하는 연합 학습 방식 FC-MoE를 개발했어요. 이 기술은 Mixture-of-Experts (MoE) LLM을 연합 학습할 때 발생하는 충돌을 줄여줘요. 중요도 기반 가중치 부여와 그래디언트 합의 투영을 통해 안정적인 학습 경로를 확보했어요.
FC-MoE는 각 클라이언트의 전문성을 유지하기 위해 로컬 지식 보존 메커니즘도 포함하고 있어요. 실험 결과, FC-MoE는 기존 방식보다 빠르게 수렴하고 성능을 향상시키는 것을 확인했어요.