כתבה
arXiv cs.LG ·
האם MLP יכולה לספוג את ה Skip Connection שלה?
Can an MLP Absorb Its Own Skip Connection Exactly?
האם MLP יכולה לספוג את ה Skip Connection שלה? נמצא כי זה אינו אפשרי, וכי הפעלה חופשית של ReLU ו-GELU יכולה להגיע לכך, אך רק על קבוצה של משקל 0.
תקציר מקורי באנגליתarXiv:2604.23705v2 Announce Type: replace Abstract: The benefits usually attributed to skip connections are optimization-theoretic: a smoother loss landscape and better gradient propagation. We ask a representational question instead: given a residual block x -> x + MLP(x), does a residual-free MLP of the same width compute the same function? The answer is no, unconditionally and at every depth, for every activation used in current frontier language models (ReLU^2, ReGLU, SwiGLU, GeGLU). For ungated ReLU and GELU absorption is possible, but only on a set of weights of measure zero. The two families are therefore generically disjoint: removing a skip connection and retraining cannot recover exactly the same function at equal width.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית