כתבה
arXiv cs.AI ·
התחלת קריטית יוצרת פריחה במשתנים גבוהים ברשתות סקלריות רחבות
Critical initialization destabilizes higher input derivatives in wide scalar-input networks
התחלת קריטית יוצרת פריחה במשתנים גבוהים ברשתות סקלריות רחבות. המחקר חוקר את התנהגות רשתות סקלריות רחבות והשפעת התחלת קריטית עליהן.
תקציר מקורי באנגליתarXiv:2609.09244v1 Announce Type: cross Abstract: The edge-of-chaos condition preserves first-order input perturbations in wide randomly initialized networks, but physics-informed losses, score matching and derivative regularization depend on higher input derivatives. For smooth scalar-input fully connected networks, using a joint Gaussianity of the finite derivative jet that holds in the infinite-width limit at each fixed depth, we derive mean-field recursions through third order that are exact at the variance fixed point, with finite-depth corrections that decay geometrically. At criticality, the first-derivative variance is depth-invariant, whereas the second-derivative variance grows linearly whenever the activation has nonzero curvature. The resulting third-order system closes on mean
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית