연구진이 트랜스포머의 잔차 스트림을 병렬 스트림으로 확장하는 xHC(Expanded Hyper-Connections)를 제안했어요.
xHC는 18B 및 28B MoE 모델에서 다운스트림 성능을 향상시키며, 기존 mHC 대비 평균 4.0점 개선 효과를 보여줬어요.
xHC-Flash를 통해 잔차 상태 메모리 트래픽을 줄여 대규모 N 훈련의 효율성을 높였어요.
xHC는 기존 방식 대비 1.5배 적은 컴퓨팅 자원으로 동일한 성능을 달성하며 LLM 사전 훈련의 새로운 가능성을 제시해요.