כתבה
arXiv cs.AI ·
קריסת גרוקינג בממשק ייצוג-קריאה בטרנספורמרים מאומנים במיונים
Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers
טרנספורמרים מאומנים במיונים יכולים לאבד בדיוקם תוך כדי שמירה על מידע משימה ליניארי. שינויים בעדכוני AdamW גורמים לאובדן דיוק. הוספת ערך לוגיט מתקן משיגה דיוק מחודש.
תקציר מקורי באנגליתarXiv:2608.07436v2 Announce Type: replace Abstract: Muon-trained modular-arithmetic transformers can lose accuracy while retaining linearly decodable task information. Adjacent swaps localize five captured unnormalized failures to AdamW readout updates. Multiplying the actual readout displacement by the large feature mean produces a class-dependent logit offset shared across inputs that nearly reproduces each failure. Training-only decoders recover 98.20-100% held-out accuracy. Correcting cross-entropy derivative errors stabilizes five matched branches through step 100,000; four prospective accurate-CE RMS runs fail through embedding updates.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית