כתבה
arXiv cs.LG ·
אבטחת גישה ליניארית בעלת הסתברות גבוהה
High-probability guarantees for linear accessibility in feature superposition
רשתות עצביות מסוגלות לאחסן יותר מושגים ממדים באמצעות על-הצבה של תכונות. מחקר זה מציג חסמים בהסתברות גבוהה לגישה ליניארית של תכונות פעילות. המחקר מציע פתרון לשיפור היכולת לקרוא תכונות ברשתות עצביות.
תקציר מקורי באנגליתarXiv:2609.09556v3 Announce Type: replace-cross Abstract: Neural networks can leverage feature superposition to encode more concepts than dimensions, but cross-feature interference constrains the linear accessibility of simultaneously active features. By framing linear accessibility as a compressed sensing problem, we derive high-probability bounds for fixed supports under subgaussian noise, proving the sufficient dimension scales linearly ($d=O_{\varepsilon}(k \log m)$) rather than prior worst-case quadratic limits. We characterize the asymmetry between active and inactive interference and the trade-off between interference and observation-noise budgets. We then validate these bounds across system parameters through Gaussian-tail approximations. We also introduce IHT-SAE, which uses learn
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית