כתבה
arXiv cs.AI ·
נוף ההפסד-המורכבות ופונקציות מבנה המודל
Loss-Complexity Landscape and Model Structure Functions
פותח כלי לניתוח היחס בין הפסד למורכבות במודלים. המחקר מציג מסגרת תאורטית להבנת המורכבות והכללה של מודלים, ומדגים את הישומים המעשיים במודלים ליניאריים ועצי רגרסיה.
תקציר מקורי באנגליתarXiv:2507.13543v5 Announce Type: replace-cross Abstract: We develop a framework for dualizing the Kolmogorov structure function $h_x(\alpha)$, which then allows using computable complexity proxies. We establish a mathematical analogy between information-theoretic constructs and statistical mechanics, introducing a suitable partition function and free energy functional. We explicitly prove the Legendre-Fenchel duality between the structure function and free energy, showing detailed balance of the Metropolis kernel, and interpret acceptance probabilities as information-theoretic scattering amplitudes. A susceptibility-like variance of model complexity is shown to peak precisely at loss-complexity trade-offs interpreted as phase transitions. Practical experiments with linear and tree-based r
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית