연구진은 Residual Coupling (RC) 기술을 통해 기존 LLM의 가중치를 수정하지 않고 수평적으로 확장하는 방법을 제시했습니다.
RC는 작은 선형 브리지 프로젝션을 활용하여 모델 간의 hidden state를 연결하고, 이를 통해 도메인 간 일반화 성능을 향상시킵니다.
의료, TruthfulQA Health, 코딩 테스트 등 다양한 분야에서 MoE (Mixture-of-Experts) 대비 성능 향상을 보였으며, 기존 모델의 환각 현상을 억제하는 효과를 확인했습니다.