연구진이 Transformer 모델의 잔차 스트림을 확장하는 새로운 방법인 xHC(Expanded Hyper-Connections)를 제안했어요.
xHC는 기존 HC 방식의 한계를 극복하고 N=16까지 확장 가능하며, 18B 및 28B MoE 모델에서 다운스트림 성능을 향상시켰어요.
xHC는 시간적 특징 보강과 희소 잔차 스트림 아키텍처를 결합하여 훈련 비용을 줄이고, 메모리 트래픽을 40C로 감소시켰어요.
xHC-Flash를 통해 기존 방식 대비 메모리 트래픽을 줄여 대규모 잔차 스트림 확장을 실용적으로 만들었어요.