Pulse · AI 뉴스

[논문] xHC: 확장된 하이퍼 커넥션 - Residual Stream을 더 넓게 확장하여 모델 지능 향상

xHC · 2026-07-20

연구진이 Transformer 모델의 Residual Stream을 확장하는 새로운 방법인 xHC(Expanded Hyper-Connections)를 제안했어요.

xHC는 기존 HC 방식의 한계를 극복하고 N=16 스트림까지 확장하여 downstream 작업에서 성능을 향상시켰어요.

xHC-Flash를 통해 메모리 트래픽을 줄여 대규모 N 값에서도 효율적인 LLM 사전 훈련이 가능하도록 만들었어요.

##LLM##Transformer##xHC##하이퍼커넥션
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기