Pulse · AI 뉴스

모델 병합: 기초 및 알고리즘

arXiv cs.AI · 2026-05-03

본 논문은 독립적으로 훈련된 신경망을 가중치 공간에서 직접 결합하는 모델 병합 패러다임을 연구합니다. 이 과정에서 원본 훈련 데이터에 대한 접근 없이도 가중치 평균을 의미있게 만들 수 있도록 C²M³ 알고리즘을 도입했습니다.

단일 작업 환경에서는 C²M³ 알고리즘을 통해 여러 네트워크를 공유 가능한 파라미터 공간에 정렬하고, 다중 작업 환경에서는 Task Singular Vectors (TSV)를 활용하여 성능을 향상시켰습니다.

연구 결과, Item Response Theory 기반의 MERGE³ 프레임워크를 통해 평가 비용을 최대 50배 절감하면서도 솔루션 품질을 유지하는 것을 확인했습니다.

##모델병합##딥러닝##알고리즘
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기