כתבה
arXiv cs.AI ·
דינמיקה של חתימות-הסתברות: פירוק של למידה מודולרית ברשתות שני-שכבתיות
Probability-Signature Dynamics: Unpacking Modular Addition Learning Within Two-Layer Networks
רשתות עצביות שנלמדו על תפקודי מודולריים פותחות ייצוגים-פורייה מבנים. זה תומך בגזירה מדויקת. המאמר חוקר את המנגנון שבו הגרדיאנט-בייסד טריינינג מבחירה את המבנים האלה מההפצה של הנתונים. המאמר עושה זאת באמצעות חתימות-הסתברות, שמציגות את הפעולות המובילות של הגרדיאנט דרך סטטיסטיקות-תנאי של ההפצה של הנתונים. למודולריות, אלה הם אופרטורי-הסתברות הציקליים, והם נמצאים על ידי התפרצות-פורייה הדיסקרטית, וזה יוצר דינמיקה-פורייה-מודולרית. זה מסביר את התופעה של צפיפות-פורייה, תאמות-תדירות, והתאמה-קצב. המאמר גם פותר את הבעיה של רעש-תווית: דוגמאות-רעש יכולות להציג ירידה-מהירה בהפסדים בתחילה, על אף שאין-להן כלל כלל-גזירה. המאמר מראה שהרעש מגדיל את התקלות-תווית-תנאי, וזה מחזק את התגבור-משותף-קואורדינט-מוקדם. לבסוף, המאמר גם יכול להיות יישום-מודל-אחר. כדוגמה, המאמר ראה את התדירות-הנבואית בניסויים.
תקציר מקורי באנגליתarXiv:2610.11833v1 Announce Type: new Abstract: Neural networks trained on modular addition tasks often develop Fourier-structured representations that support exact generalization. While prior work has identified these Fourier circuits, the mechanism by which gradient-based training selects them from the data distribution remains unclear. We address this question using probability signatures, which express leading gradient interactions through conditional statistics of the training distribution. For modular addition, these signatures are cyclic shift operators and are diagonalized by the discrete Fourier transform, yielding approximately decoupled Fourier-mode dynamics. This explains the emergence of Fourier sparsity, frequency matching, and phase alignment. The same framework resolves a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית