DynaMiCS는 다중 도메인 LLM 미세 조정 시 특정 능력 유지하며 성능을 향상하는 새로운 방법입니다. 성능 제약 조건을 명시적으로 강제하는 동적 혼합 최적화 기법을 사용합니다.
DynaMiCS는 각 업데이트마다 도메인별 프로빙을 수행하여 로컬 기울기 행렬을 추정하고, 성능 제약 조건을 만족하도록 데이터 혼합 비율을 동적으로 조정합니다.
연구 결과, DynaMiCS는 기존 방식 대비 특정 도메인 성능 향상과 함께 일반 지식, 안전성 평가 등 제약된 능력 유지에 효과적입니다.