연구진은 AppWorld 에이전트 벤치마크에서 Qwen3-8B 전문가 모델을 학습시켜 모델 병합(TIES, RAM+)과 공동 강화 학습을 비교했어요. 결과적으로 태스크 목표 달성률에서 모델 병합은 공동 강화 학습과 유사한 성능을 보였고, 모든 병합 방식 간의 차이는 통계적으로 무시할 만했어요.
전문가 모델의 태스크 벡터 기하학적 구조를 분석한 결과, 태스크 샘플링 노이즈가 없고 약 65%의 지원 중복에도 불구하고 벡터들은 거의 직교하는 경향을 보였어요. 이는 방향과 지원이 분리되어 있어, RAM과 TIES 같은 병합 방식이 단순 평균화로 수렴하는 이유를 설명해요.
연구 결과는 모델 병합이 공동 강화 학습의 효과적인 대체 수단이 될 수 있음을 시사하며, 관련 코드와 통계 자료를 공개했어요.