כתבה
arXiv cs.LG ·
יחס רישות-כללה במכונה ועדת עץ מורה-תלמיד
A Flatness-Generalization Relation in the Teacher-Student Tree-Committee Machine
חוקרים יחס רישות-כללה ברשתות נוירונים. המחקר בוחן את הקשר בין רישות הנוף האופטימלי לכללה. התוצאות מראות תלות במשימת הלמידה וביחס בין מספר הפרמטרים למספר נקודות המידע.
תקציר מקורי באנגליתarXiv:2609.31101v1 Announce Type: cross Abstract: The flatness of the loss landscape at a minimizer is a widely used heuristic for reasoning about neural-network generalization, yet evidence for this relation is mostly empirical and controversial. We study this relation in a teacher-student tree committee machine, where both the ERM estimator and the Hessian spectrum are analytically tractable in the proportional high-dimensional limit. First, we use a zero-temperature Gibbs formulation to obtain predictions for the observables of the typical minimizers of the empirical loss. Secondly, we use Edwards-Jones formalism to derive the limiting Hessian resolvent around these typical minimizers. All predictions agree with finite-size gradient-descent simulations. Finally, we study three measures
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית