כתבה
arXiv cs.AI ·
גישה פונקציונלית למכניקה סטטיסטית של דינמיקת למידה
A Function-Space Approach to the Statistical Mechanics of Learning Dynamics
חוקרים פיתחו תיאור סטטיסטי-מכני של למידה במרחב פונקציונלי. הם הציגו מודל המתאר את הדינמיקה של רשתות נוירונים עמוקות. המודל מאפשר להבין את התנהגותן המקרוסקופית.
תקציר מקורי באנגליתarXiv:2609.09589v1 Announce Type: new Abstract: Deep neural networks exhibit regular macroscopic behavior despite highly nonlinear dynamics in vast parameter spaces. We develop a statistical-mechanical description of learning directly in function space, treating parameter configurations as microscopic realizations and functions with their dynamical operators as macroscopic variables. For mean-squared loss, the exact error dynamics are governed by the learning operator \(M=JJ^\ast\). Combining the dynamical Boltzmann weight of the conditional stochastic dynamics with the parameter-space density of states, whose local curvature defines a statistical operator \(B\), and integrating over local fluctuations yields $$ \Phi_{\mathrm{fluc}}(M;B)=\frac{\sigma_\xi^2}{2}\log\det(M^{-1}+B)+\mathrm{con
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית