כתבה
arXiv cs.LG ·
SGD רגיל תחת רגעים תלויי מרחק
Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds
חוקרים את התנהגותו של SGD רגיל עם רגעים תלויי מרחק. המחקר מראה כי SGD יכול להשיג תחת שיפועים מסוימים תוך שימוש בשיטות מסוימות. הדבר מאפשר להגיע לתוצאות טובות יותר בתהליכי אופטימיזציה.
תקציר מקורי באנגליתarXiv:2609.30499v1 Announce Type: cross Abstract: Uniform noise-moment bounds exclude stochastic gradients whose variability increases with the iterate. We study ordinary, single-sample stochastic gradient descent for smooth, lower-bounded, possibly nonconvex objectives under distance-dependent conditional moments. Under second moments alone, a direct descent--displacement argument yields $T^{-1/3}$ expected average squared-gradient stationarity with a horizon-dependent stepsize. An explicit oracle-complexity corollary matches the known smooth Blum--Gladyshev (BG-0) lower bound, including the $Lb_2\Delta^3\varepsilon^{-6}$ and $L\Delta\sigma^2\varepsilon^{-4}$ stochastic terms, where $\Delta$ is the initial objective gap and $\sigma^2+b_2\|x-x_1\|^2$ bounds the variance. Thus unchanged SGD
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית