כתבה
arXiv cs.LG ·
הערכה סטוכסטית קבוע-צעד: סופר-טיפול, הערכה גאוסיאנית וגבולות זנב
Constant-Stepsize Stochastic Approximation: Finite-Time Convergence, Gaussian Approximation, and Tail Bounds
המאמר עוסק בהערכה סטוכסטית קבוע-צעד, ומציג תאוריה חדשה להערכת גבולות זנב והערכה גאוסיאנית. התאוריה נועדה להסביר את התנהגות ההערכה במצבי זמן סופיים, ולספק תיאור פרה-גבולות של ההערכה. התאוריה נבחנה באמצעות ניסויים תאורטיים, והתוצאות הראו תאימות טובה עם התאוריה.
תקציר מקורי באנגליתarXiv:2602.13960v2 Announce Type: replace Abstract: Constant-stepsize stochastic approximation (SA) is widely used in learning for computational efficiency, yet the distribution of the iterates is typically intractable. Classical asymptotics results give $X_k^{(\alpha)} \approx X^{(\alpha)} \approx x^\star+\sqrt{\alpha}Y$, where $X^{(\alpha)}$ is the steady state and $Y$ is an appropriate Gaussian limit, by progressively taking the time $k\uparrow\infty$ and stepsize $\alpha\downarrow0$. Such limit results, however, do not quantify finite-time, finite-stepsize errors. We develop an explicit pre-limit characterization for SA with i.i.d.\ and Markovian noise. We establish existence and uniqueness of the stationary law, a geometric Wasserstein convergence to stationarity, and almost-sure and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית