יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.AI ·

אדם תחת סMOOTHNESS כללית עם גרדיאנטים סטוכסטיים של שני-רגלי-טיפוס

Adam under Generalized Smoothness with Second-Moment-Type Stochastic Gradients
אדם נותר קבוע גם כאשר המטרה חורגת מהסMOOTHNESS הגלובלי. המאמר עוסק בכלליות ובגרדיאנטים סטוכסטיים של שני-רגלי-טיפוס.
תקציר מקורי באנגליתarXiv:2609.37787v1 Announce Type: new Abstract: Adam is widely observed to remain stable even when the objective deviates significantly from global smoothness. Under the generalized smoothness framework, however, existing analyses rely on strong tail assumptions on the stochastic gradients, such as almost-sure boundedness or sub-Gaussianity. Whether Adam converges on generalized smooth objectives under only second moment information on the stochastic gradients, without such concentration assumptions, was identified as an important open direction by Li et al. (2023). This paper gives an affirmative answer under fairly general conditions: such tail assumptions are not necessary. Building on the Adam self-normalization framework of Jin et al. (2026), developed for classical smoothness and bou
קרא במקור המקורי