כתבה
arXiv cs.LG ·
שקל זהב הוא (כמעט) אופטימלי לגרדיאנט דסנט
Silver Rate Is (Almost) Optimal for Gradient Descent
במאמר זה נחקר כיצד ניתן לקדם את גרדיאנט דסנט על ידי צעדי קדימה מוגדרים באופטימיזציה צבירה וסווג.
תקציר מקורי באנגליתarXiv:2609.09152v2 Announce Type: replace-cross Abstract: We study how far gradient descent (GD) can be accelerated by predetermined stepsizes in smooth convex optimization. Writing $p_{\mathrm{sil}}=\log_2(1+\sqrt{2})$, we prove an $\Omega\left(n^{-p_{\mathrm{sil}}-O(\sqrt{\log\log n/\log n})}\right)$ non-anytime lower bound. In the anytime setting, every infinite schedule has infinitely many horizons with error $\Omega\left(n^{-\frac{2p_{\mathrm{sil}}}{1+p_{\mathrm{sil}}}-O(\sqrt{\log\log n/\log n})}\right)$. Together with the silver-schedule upper bound [Altschuler and Parrilo, 2025] and the anytime upper bound [Zhang et al., 2025], our results determine the optimal polynomial convergence exponents in both settings.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית