כתבה
arXiv cs.AI ·
MuonIO: תיקון נורמה-מודע למורכבות עבור טבלאות-המסר וכותרות-LLM
MuonIO: Principled Norm-Aware Descent for Embedding Tables and Language Model Heads
MuonIO היא טכניקה חדשה לאופטימיזציה של טבלאות-המסר וכותרות-LLM, המבוססת על נורמה-מודע. היא נועדה לשפר את יעילות האופטימיזציה ולהפחית את זיכרון המצבר. MuonIO כבר הוכיחה את עצמה במחקרים קודמים, ומצפים להשפעותיה בעתיד.
תקציר מקורי באנגליתarXiv:2610.02705v1 Announce Type: cross Abstract: The Muon optimizer derives its update rule for hidden linear layers by solving a local linearization of the loss penalized by the spectral norm, motivated by an RMS-stability argument for dense linear layers. Standard Muon implementations, however, exclude the input (embedding table) and output (language model head) layers from this principled treatment, for which they use AdamW instead. We present MuonIO, a single Muon-style update for both of these layers. For the language model head $\mathbf{L} \in \mathbb{R}^{V \times d}$, we motivate the use of the $2\to\infty$ operator norm, due to the Lipschitz continuity of the softmax output geometry, while for the embedding table $\mathbf{E} \in \mathbb{R}^{d \times V}$, we draw on the $1 \to 2$ o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית