כתבה
arXiv cs.LG ·
שיתוף פאזה ובקרה על השמרה לשם תפעול ספקטרלי חד-פעמי
Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence
מחקר חדש: SPARC - שיטה חדשה לשיתוף פאזה ובקרה על השמרה לשם תפעול ספקטרלי חד-פעמי. השיטה נותנת תוצאות טובות יותר במשימות רב-ערכיות.
תקציר מקורי באנגליתarXiv:2609.39082v1 Announce Type: new Abstract: As new evidence arrives, a sequence model must update what it remembers and how memory influences predictions. While Transformers incur computation and cache costs scaling with context length, fixed-state recurrent models offer constant-memory inference. However, linear and spectral recurrences traditionally rely on static transitions, failing to dynamically revise how stored representations decay or rotate. While recent selective architectures introduce input-dependent transitions, they assign independent controls to every memory mode, coupling control cost to state capacity. We show that high-dimensional spectral memory does not require high-dimensional control, and introduce Shared Phase and Retention Control for Efficient Adaptive Spectra
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית