연구진은 Qwen2.5-VL-3B 모델을 활용해 충돌을 인식하는 분할 및 가중치 병합 기술인 MERIT를 개발했어요.
MERIT는 데이터셋 수준의 충돌을 추정하고, 주요 PCA 충돌 축을 따라 혼합을 분할하며, 각 파티션을 독립적으로 튜닝하고, 토큰 가중 평균을 통해 병합하는 방식으로 작동해요.
MERIT는 8개 벤치마크 평균 점수를 54.3에서 57.0으로 향상시켰으며, 7B 모델에 적용하여 중앙 집중식 공동 훈련을 능가하는 성능을 보여줬어요.