כתבה
arXiv cs.LG ·
אובדן תוכלות ברשתות ReLU עמוקות: כיווץ ומשפחות של נקודות קריטיות
Population loss in shallow ReLU networks: Bias & families of critical points
במאמר זה, נוצג פורמולה לאובדן תוכלות ברשתות ReLU עמוקות עם כיווץ. הפורמולה משתמשת ב-T-function של Owen. נוכחות כיווץ גורמת לאובדן תוכלות, והשינוי בגאומטריה של הנוף הוא קל.
תקציר מקורי באנגליתarXiv:2609.30661v1 Announce Type: new Abstract: The main result presented is a formula for the population loss in the student-teacher kernel model that is applicable to shallow ReLU networks with bias. This extends previous work of Choo and Saul (2009) and Brutzkus and Globerson (2017). The formula makes essential use of Owen's T-function. The necessary theory of the T-function is given and a high precision coding using MPFR for the T-function, based on an algorithm of Komelj (2023), is available on request. It is shown that various families of spurious minima described in past papers of Arjevani and the author extend to biased networks and that the loss is always strictly decreased when bias is added. The change in landscape geometry caused by adding bias appears to be relatively mild. On
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית