יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

פרסומים מרושמים: סדר חד-צדדי לפרמוטריות סגד לעקבות רנדומיים

Centered Permutation Prefixes for SGD with Random Reshuffling: Sharp Rates, H\"older Geometry, and Composite Proximal Extensions
מחקר חדש: SGD עם רנדומיים לסדר חד-צדדי. ניתן להשיג קצב רכיבה חד-צדדי של O(T^{-2}) עבור SGD עם רנדומיים.
תקציר מקורי באנגליתarXiv:2609.04578v1 Announce Type: cross Abstract: We study stochastic gradient descent with random reshuffling for finite sums \[ F(x)=\frac1n\sum_{i=1}^n f_i(x). \] For fresh reshuffling with a constant component stepsize, if each $f_i$ has an $L$-Lipschitz gradient and the average $F$ is $\mu$-strongly convex with a Lipschitz-continuous Hessian, we prove the last-epoch rate \[ \mathbb E[F(y_K)-F(x_\star)] =\widetilde O\!\left(T^{-2}+n^2T^{-3}\right), \qquad T=nK, \] matching the known quadratic lower bound in its $(n,K)$-dependence. The components may be nonconvex, and no componentwise Hessian continuity or separate bounded-iterate assumption is required. More generally, a $\nu$-H\"older-continuous average Hessian adds only $\widetilde O(n^{1+\nu}T^{-2-2\nu})$, so every $\nu\ge 1/2$ pres
קרא במקור המקורי