연구진은 서로 다른 파라미터 공간을 가진 LLM을 훈련 없이 가중 평균화 방식으로 병합할 수 있는지 조사했어요. 기존의 이질적 융합 방법은 증류, 어댑터, 학습된 잠재 공간, 라우팅, 특징 정렬 등을 사용하지만, 간단한 방법으로도 가능할지 확인해봤어요.
Qwen 모델 패밀리 간의 병합 실험 결과, 작은 모델을 큰 모델의 파라미터 공간으로 확장하는 방식은 원본 모델의 기능을 크게 손상시키지 않으며, 적절한 비율로 섞으면 성능을 향상시킬 수 있었어요.
하지만 균형 잡힌 비율로 섞으면 성능이 저하되고, 특정 능력은 향상되지만 다른 능력은 퇴보하는 '시소' 효과가 나타났어요. 이는 간단한 파라미터 평균화가 이질적 LLM 병합의 강력한 기준점이 될 수 있음을 시사해요.
연구 결과는 복잡한 이질적 병합 방법의 잠재력을 제한할 수 있으며, 가중치 비율 조절과 경량화된 차원 적응을 통해 단순한 파라미터 평균화만으로도 상당한 효과를 낼 수 있다는 점을 보여줘요.