כתבה
arXiv cs.LG ·
קירוב גאוסי תחנות חד
Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
חוקרים הוכיחו קירוב גאוסי חד לחוק הנייח של אלגוריתם SGD עם רעש אדיטיבי מוגבל. הקירוב נעשה עבור פונקציה חלקה וקמורה חזק, עם הסיאנס גרדיאנט ליפשיץ וקובריאנט רעש ארוך-טווח. ההוכחה משלבת השוואה גאוסית בלוקית עם כיווץ ארוך-טווח.
תקציר מקורי באנגליתarXiv:2609.39144v2 Announce Type: new Abstract: We prove a sharp Gaussian approximation for the invariant law of constant-stepsize SGD with bounded additive noise generated by an exogenous uniformly ergodic Markov chain. For a smooth, strongly convex objective with a Lipschitz Hessian and nondegenerate long-run noise covariance, the centered iterate normalized by the square root of the stepsize is $O(\sqrt{\alpha})$-close in 1-Wasserstein distance to its limiting Gaussian. The proof combines blockwise Gaussian comparison with long-run contraction. A four-state example gives a matching lower bound although the one-time noise marginal is symmetric and every nonzero-lag autocovariance vanishes. In this example, an adjacent third-order mixed moment produces the leading correction.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית