כתבה
arXiv cs.LG ·
Matrix AdaGrad: שיטות תיקון סקאלה רב-ממדיות
Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods
שיטות תיקון סקאלה אדפטיביות לפרמטרים רב-ממדיים. המאמר מציג שיטות תיקון סקאלה אדפטיביות לפרמטרים רב-ממדיים, כולל שיטות תיקון סקאלה רב-ממדיות. השיטות החדשות מציעות יתרונות בהשוואה לשיטות תיקון סקאלה קלאסיות.
תקציר מקורי באנגליתarXiv:2609.21815v2 Announce Type: replace Abstract: Adaptive optimization methods such as AdaGrad and Adam are widely used in modern deep neural network training, but their adaptive scaling is primarily designed for vector-valued parameters and does not explicitly exploit matrix structure. Recent matrix-aware optimizers demonstrate the benefits of structured optimization, yet a general theoretical framework for deriving matrix-aware adaptivity comparable to that of AdaGrad remains lacking. In this work, we develop an Online Mirror Descent framework with adaptive proximal functions for matrix-valued parameters, providing a principled methodology for deriving matrix-aware adaptive optimization through online regret minimization. By introducing row-wise and column-wise matrix proximal functio
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית