כתבה
arXiv cs.LG ·
עיצוב מחדש של אופטימייזר AdamW
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
חוקרים פיתחו שיטות חדשות לקידום אופטימייזר AdamW, ZIP-SR ו-ZE-EDEN, שמפחיתות את הפער באיבוד תהליך האימון. השיטות הופכות להיות יעילות יותר במודלים GPT ו-Llama.
תקציר מקורי באנגליתarXiv:2610.12444v1 Announce Type: new Abstract: Quantizing AdamW's optimizer states reduces persistent storage, but quantization errors propagate through the moment recurrences and perturb subsequent adaptive updates. We redesign 4-bit optimizer-state quantization for AdamW from the perspective of \emph{rounding space}: the coordinate in which a quantizer chooses between adjacent reconstruction levels. For the second moment, a local analysis of the quantization cell adjacent to zero shows that small mean state error need not imply small mean preconditioner error at the next step. A one-dimensional quadratic construction further shows qualitatively different optimization dynamics under state-space and preconditioner-space rounding. These results motivate Zero-Inclusive Preconditioner-space
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית