יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

למידה קדומה משפיעה על כיווני השינוי של התייצוג בלמידה רציפה

Early Learning Shapes Later Directions Of Representation Change In Continual Learning
למידה קדומה משפיעה על כיווני השינוי של התייצוג בלמידה רציפה. נמצא כי השינויים הקדומים של התייצוג יוצרים תחום גאומטרי שממשיך להשפיע על הלמידה הבאה. ניתן לראות כי השינויים הבאים של התייצוג מעדיפים את התחום הגאומטרי הקדום. התוצאות מוצגות באמצעות ניסויים שבוצעו על ארבעה קודקודים ויזואליים ושני סטי נתונים.
תקציר מקורי באנגליתarXiv:2609.36081v2 Announce Type: replace Abstract: Representations continually change as a network learns new tasks. We ask whether early representational changes naturally form a geometric structure that continues to shape later learning. We identify a low-dimensional subspace of early representation drift, which we call a scaffold, and test whether it is reused across subsequent tasks. Across four pretrained visual encoders and two datasets, later representational changes consistently favor this early-defined subspace over matched random alternatives. This reuse is history-dependent: when networks experience different early tasks but identical later training inputs, each network preferentially reuses the scaffold induced by its own learning history. The same preference appears in indivi
קרא במקור המקורי