כתבה
arXiv cs.LG ·
התחברות מאורגנת של רשתות עמוקות
Correlated initialization of deep residual networks
במאמר זה נחקרת התנהגות רשתות עמוקות עם התחברות מאורגנת. נראה שההתחברות המאורגנת יוצרת תנהגות שונה מהתחברות עצמאית או מאורגנת מוחלט.
תקציר מקורי באנגליתarXiv:2609.03589v1 Announce Type: cross Abstract: We study the large-depth behavior of residual networks whose weights are correlated across layers at initialization. Our results confirm and extend a conjecture of Marion et al. [2025], according to which correlated initializations should interpolate continuously between the Brownian stochastic differential equation arising from independent initialization and the ordinary differential equation arising from perfectly correlated initialization. When the initialization is obtained from the application of a feature function to a stationary Gaussian sequence with regularly varying correlation, we prove that there exists a unique critical scaling such that the infinite-depth limit is the solution of a Young differential equation driven by a Hermi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית