כתבה
arXiv cs.LG ·
כלליות ברשתות עצביות דרך עדשת פוטנציאל גודל
Generalization in Neural Networks Through the Lens of Magnitude Potential
חוקרים הציגו מושג חדש - פוטנציאל גודל, המבוסס על תורת המדידה המטרית. המחקר מראה כי פוטנציאל גודל יכול לשמש כאינדיקטור גאומטרי לגרוקינג באריתמטיקה מודולרית.
תקציר מקורי באנגליתarXiv:2610.01633v1 Announce Type: new Abstract: Explaining generalization and training dynamics in neural networks remains a challenge, and various approaches have been developed to study different aspects of these phenomena. In this paper, we introduce the idea of {\em magnitude potential} -- a quantity based on the theory of metric magnitude -- that reflects how well an arbitrary point is represented by a given set. We find that this basic quantity can be applied to examine various features in neural generalization. The ratio between the magnitude potential with respect to a class and with respect to the entire data, computed at the logit layer, is informative of the representation of the point. In experiments, these ratios for individual training points are found to be correlated with t
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית