כתבה
arXiv cs.LG ·
האם קצוות רזות הן תיאוריה?
Are Flat Minima an Illusion?
קצוות רזות עשויים לא להיות הסיבה לכלילות הלמידה העמוקה. המאמר עוסק בקשר בין חופש המודל לאדפטביליות, ומציע פתרון חדש לבעיית הכלילות.
תקציר מקורי באנגליתarXiv:2605.05209v2 Announce Type: replace Abstract: Flat minima are an account of why deep networks generalise. However flatness is a matter of form (parameters), while generalisation is of function. The same function can be a result of many different parameterisations. I demonstrate this by rescaling ReLU networks, changing raw Hessian trace by up to $99$ times while every prediction remains fixed. Raw curvature cannot identify a function-level explanation. Previous theoretical work traced generalisation to the weakness of constraints implied by function, meaning the freedom a model retains within the bounds of what it has learned to be correct. A policy is weaker when more future commitments remain compatible with what it has learned, allowing more freedom to adapt. To measure this for n
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית