כתבה
arXiv cs.LG ·
CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory
CyFA (Cyclic Flow Attention) - רשת רציפה לינארית עם ממורי זמן-יחסי שמאפשרת עיבוד סדרות בזמן-רגיל. CyFA משפר את זיכרון הסדרות ומחסיר את הזיכרון המוגבל של רשתות רציפות לינאריות.
תקציר מקורי באנגליתarXiv:2609.36259v1 Announce Type: new Abstract: Linear RNNs offer linear-time sequence processing and constant-memory decoding, but their fixed-size recurrent states must accommodate all past key--value associations. Existing forgetting mechanisms and Delta Rule updates reduce interference by selectively clearing or correcting the state, yet earlier associations can still become difficult to retrieve. We introduce CyFA (Cyclic Flow Attention), a Linear RNN with relative-time-partitioned memory. At each step, a learned clock controls the cyclic transport applied jointly to the key and value states before the current key--value pair enters the age-zero slot, thereby organizing stored associations across relative-time slots. We further derive an exact change to absolute-clock coordinates that
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית