이 논문은 잔차 연결의 일반화된 형태인 Manifold-Constrained Hyper-Connections (mHC)를 새로운 파라미터 효율적인 파인튜닝 (PEFT) 기법으로 연구했어요. mHC는 동결된 OLMo-2 백본을 학습 가능한 잔차 라우팅 모듈로 감싸는 방식으로 작동해요.
mHC는 동결된 트랜스포머를 파인튜닝할 수 있지만, 사전 훈련 설정과 달리 잔차 혼합 행렬을 단위 행렬로 고정하는 것이 성능을 향상시키는 것으로 나타났어요.
mHC는 독립적인 PEFT 방법으로는 LoRA보다 일관되게 성능이 좋지 않지만, 동일한 학습 가능한 파라미터 예산에서 mHC+LoRA 조합은 언어 모델링 손실을 개선하고 벤치마크 성능을 향상시켰어요.