יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

למידה מוקדמת מציבה את הכיוון לשינויי התייצוג בלמידה רציפה

Early Learning Shapes Later Directions Of Representation Change In Continual Learning
למידה מוקדמת משפיעה על כיווני השינויים של התייצוג בלמידה רציפה. נמצא כי השינויים המוקדמים יוצרים תוואי גאומטרי שממשיך להשפיע על הלמידה הבאה.
תקציר מקורי באנגליתarXiv:2609.36081v1 Announce Type: new Abstract: Representations continually change as a network learns new tasks. We ask whether early representational changes naturally form a geometric structure that continues to shape later learning. We identify a low-dimensional subspace of early representation drift, which we call a scaffold, and test whether it is reused across subsequent tasks. Across four pretrained visual encoders and two datasets, later representational changes consistently favor this early-defined subspace over matched random alternatives. This reuse is history-dependent: when networks experience different early tasks but identical later training inputs, each network preferentially reuses the scaffold induced by its own learning history. The same preference appears in individual
קרא במקור המקורי