כתבה
arXiv cs.LG ·
OASIS: שיטה לייצוב ארכיטקטורות תשומת לב
Attention Sinks and Outliers in Attention Residuals
OASIS היא שיטה חדשה לייצוב ארכיטקטורות תשומת לב עם נירמול כפול. היא משפרת את יכולת הניתוב בין שכבות ומפחיתה את הרמות הגבוהות של תשומת לב. OASIS נבדקה על מודלים כמו LLaMA-3.2-1B ו-Qwen3-0.6B.
תקציר מקורי באנגליתarXiv:2605.17887v2 Announce Type: replace Abstract: We propose OASIS, an outlier- and sink-aware method that stabilizes dual-normalized attention-residual architectures through explicit null routing and token-to-depth null coupling. AttnResidual introduces an additional depth-wise normalization channel that improves inter-layer routing flexibility but can also amplify attention sinks, activation outliers, and low-bit quantization error. OASIS builds on explicit Softmax1-based null routes at both the token and depth levels and uses token-level null evidence to downweight depth branches exhibiting stronger null behavior. Theoretically, we characterize a conditional mechanism for sink-like attention concentration under dual normalization, offering insight into the low-bit sensitivity observed
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית