כתבה
arXiv cs.LG ·
ייצוגי ReLU רדודים יותר דרך אלגברה ליניארית מדויקת
Shallower ReLU Network Representations via Exact Linear Algebra
חוקרים הוכיחו כי ניתן לייצג מקסימום של n מספרים ממשיים ברשת ReLU עם שתי שכבות מוסתרות. המחקר מראה כי ניתן לייצג פונקציות רציפות piecewise-linear עם שתי שכבות מוסתרות.
תקציר מקורי באנגליתarXiv:2607.21651v1 Announce Type: new Abstract: We prove that the maximum of $n$ real numbers is exactly representable by a ReLU network with two hidden layers for every $n\le 10$. The constructions are obtained by reducing the problem to exact rational linear algebra: after a symmetry reduction, the necessary cancellations are encoded in finite linear systems over $\mathbb{Q}$, which we solve and verify computationally. The representation of $\max_{10}$ has a structured first hidden layer consisting only of pairwise maxima, a feature that allows it to be recursively substituted into larger networks. We use this to show that for every $n>10$, the maximum $\max_{n}$ can be exactly represented with $\lceil{\log_5 (n / 2)\rceil}+1 < \log_5(n) +1.5694$ hidden layers. Via the generalized hingin
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית