DIMoE-Adapters는 비전-언어 모델의 지속적 학습을 위한 동적 전문가 진화 프레임워크입니다. 이 프레임워크는 새로운 도메인에 대한 적응성을 높이고 파국적 망각을 완화하는 데 목표를 두고 있습니다.
Self-Calibrated Expert Evolution (SCEE)은 전문가 최적화 동역학을 통해 희소 전문가 풀을 구축하고 진화시켜 모델의 플라스티시티를 향상시키며 불필요한 용량을 줄입니다.
Prototype-Guided Expert Selection (PGES)은 SCEE가 형성한 풀을 기반으로 전문가 활용을 제어하여 이전에 경험한 작업과 새로운 작업 모두에서 안정성을 향상시킵니다.