כתבה
arXiv cs.LG ·
HAARES: רוטינג בסיסים חצוי-הפרדה לבסיסים רזידואליים למפצחי דפורמטורים
HAARES Half-Split Residual Basis Routing for Deep Transformers
מחקר חדש: HAARES, רוטינג בסיסים חצוי-הפרדה לבסיסים רזידואליים למפצחי דפורמטורים. המחקר מציג רוטינג חדש שמקל על רזידואליזציה במפצחי דפורמטורים עמוקים. המחקר נערך על OpenWebText ו-BPE-tokenized OpenWebText.
תקציר מקורי באנגליתarXiv:2606.06564v3 Announce Type: replace Abstract: Block-level residual routing makes learned residual aggregation practical by routing over block summaries, but each summary compresses an ordered sequence of attention and MLP updates into one cumulative vector. We propose \method{}, a lightweight residual basis router that keeps the cumulative block source and adds one half-split detail basis, computed as the difference between first-half and second-half residual updates. The detail basis is RMS-matched and updated online, exposing coarse intra-block trajectory information without dense sublayer-level routing. Across OpenWebText, cross-domain character-level benchmarks, and BPE-tokenized OpenWebText, the empirical pattern is depth-dependent: gains are small or mixed at shallow depth and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית