연구진은 훈련된 모델 가중치 벡터가 막대한 양의 데이터 자원이며, 이를 새로운 생성 AI 모달리티로 활용해야 한다고 주장합니다. 가중치 공간에서 생성 모델링을 표준화된 머신러닝 기술로 발전시켜야 합니다. 최근 연구 결과, 모델 가중치를 필요에 따라 합성하여 기존 파인튜닝 성능을 따라잡으면서 비용을 크게 절감할 수 있습니다.
고성능 모델은 대칭성, 평탄성, 모듈성, 공유 서브스페이스로 형성된 가중치 공간의 저차원 영역에 위치합니다. 이러한 관점을 바탕으로 기존 방법들을 5단계 파이프라인으로 정리하고, 실제 적용 사례를 조사하며, 현재 한계를 명확히 했습니다.
AI 시스템이 다른 AI 시스템을 개선하거나 생성하는 시대로 나아가기 위해, 모델을 개별 작업에 맞게 최적화하는 대신 학습된 가중치 분포에서 샘플링하는 방식을 채택해야 합니다.