כתבה
arXiv cs.LG ·
תאורמה מלאה לאדם על תחילת זנב-כבד בספקטרלי
A Full Adam Theorem for Spectral Heavy-Tail Onset
נוסחאות חדשות לתחילת זנב-כבד בספקטרלי במודל אדם. התאורמה כוללת תיאור של תהליך הלמידה של המודל והסיבות לתחילת זנב-כבד.
תקציר מקורי באנגליתarXiv:2609.12996v1 Announce Type: new Abstract: We prove a full Adam theorem for spectral heavy-tail onset in a closed Gaussian Stein-Hermite teacher-student state-evolution model. The theorem begins with the actual full-batch Adam recurrences, derives the population gradient by Stein-Hermite calculus, proves finite-width covariance concentration, converts multi-step Adam momentum into an exact non-centered Gaussian sign kernel, controls the diagonal Adam denominator by a basis-homogenization theorem, derives a regularly varying projected update response from a Hermite edge-transfer theorem, pushes the response through the exact Gram update, and proves approximate-target KL contraction with matching upper and lower hitting bounds. The final law is (\tau_\varepsilon=\Theta(\Delta_1^{-\gamma
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית