연구진은 모델 병합 시 전문가 훈련 방식을 재검토했어요. 프롬프트 기반 적응이 기존의 전체 파라미터 미세 조정 방식보다 강력한 기반이 될 수 있음을 보여줬어요. Dual-Tuned Experts(DTE) 전략을 통해 프롬프트 학습 후 비전 인코더를 미세 조정하여 병합 호환성을 높였어요.
CLIP 아키텍처, 전체 미세 조정, LoRA 전문가 실험에서 DTE가 표준 병합 방식의 성능을 향상시켰고, 이질적인 전문가 집합을 결합하는 데도 효과적이었어요. DTE는 전문가의 병합 호환성을 높이는 두 단계 훈련 전략이에요.