כתבה
arXiv cs.LG ·
Activation-Keyed Momentum
Activation-Keyed Momentum: An Anisotropic Momentum Update via the Delta Rule
Activation-Keyed Momentum הוא שיטה חדשה לעדכון מומנטום באופטימיזציה. היא משתמשת בכלל הדלתא כדי לעדכן את המומנטום, ובכך מאפשרת שינויים בקצב שונה עבור כיוונים שונים. השיטה הוכחה כיעילה במודלים שונים, כולל AdamW ו-SGD.
תקציר מקורי באנגליתarXiv:2608.19491v2 Announce Type: replace Abstract: Most modern optimizers form their momentum as an exponential moving average (EMA) of past gradients, forgetting every direction at one fixed rate. However, the inputs a deep network sees during training can be highly anisotropic, with a few directions queried frequently while most are seen rarely. Preconditioning methods address this anisotropy by wrapping extra processing around this buffer and leave the momentum update itself unchanged. We propose Activation-Keyed Momentum (AK-Momentum), which builds direction-awareness into the momentum update rule. The gradient of a linear layer splits into an input activation that acts as a key and an output-side error that acts as a value. Keying on that activation, AK-Momentum updates the momentum
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית