כתבה
arXiv cs.LG ·
מה זמן נמשך רוחב אינסופי? תפוצה של אותות במודלי רציפות רציפה
How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences
במאמר זה נחקרת תפוצה של אותות במודלי רציפות רציפה ברוחב סופי. נמצאו שלושה שלבי גודל: תחת-קריטי, קריטי ועל-קריטי.
תקציר מקורי באנגליתarXiv:2605.05113v2 Announce Type: replace Abstract: We study signal propagation in linear recurrent models at finite width. While existing signal propagation theory relies predominantly on the infinite-width limit, it remains unclear for how long that approximation remains accurate when recurrent depth $t$ grows jointly with width $n$. This question is especially relevant for modern recurrent sequence models, whose natural operating regime involves long input sequences, i.e., large $t$. We derive exact finite-width formulas for the hidden state signal energies in linear recurrences under complex Gaussian initialization. Using these formulas, we identify the joint depth--width scaling regimes that govern signal propagation: (i) a \emph{subcritical regime} $t=o(\sqrt n)$, in which the infini
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית