Pulse · AI 뉴스

무한 폭 모델, 얼마나 오래 정확할까? 장거리 선형 순환 신경망에서의 신호 전파

arXiv cs.LG · 2026-05-07

본 연구는 유한 폭에서 선형 순환 모델의 신호 전파를 연구하며, 기존 이론이 무한 폭 한계를 기준으로 삼는 것에 대한 정확성을 분석합니다.

연구 결과, 순환 깊이 $t$가 폭 $n$과 함께 증가할 때, 신호 전파에 영향을 미치는 세 가지 스케일링 영역(아래비판 영역, 임계 영역, 초비판 영역)을 확인했습니다.

본 연구는 무한 폭 이론이 깨지는 정확한 순환 깊이 규모를 지적하고, Glorot과 같은 초기화 방식이 불안정해지는 조건을 보여줍니다.

##신호전파##순환신경망##무한폭##선형대수
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기