כתבה
arXiv cs.AI ·
הסרת מינימום מזויף למאפיינים מישוריים
Removing spurious minima for planar features by skip connections
חוקרים מצאו דרך להסיר מינימום מזויף ברשתות עצביות רדודות. הם הוכיחו שהוספת קישור ישר לומד מסיר את כל המינימום המזויף עם משקלי יציאה חיוביים. המחקר עשוי לשפר את הבנתנו את נוף ההפסדים של רשתות עצביות.
תקציר מקורי באנגליתarXiv:2610.01728v1 Announce Type: cross Abstract: Understanding loss landscapes is central to explaining neural-network training, yet their structure remains only partially understood even in simple models. We study the Gaussian population loss of shallow, bias-free ReLU networks in the teacher--student setting. This provides a simple model for studying essential aspects such as feature learning and overparameterization. For teacher networks with positive output weights and planar features, we show that including a learned linear skip removes all spurious local minima with non-negative student output weights once the student network is at least as wide as the teacher network. In contrast, without the skip, we construct a fixed teacher network with positive output weights and only three hid
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית