כתבה
arXiv cs.CL ·
מה זה זיכרון תשומת הלב ובקרה חוזרת בדגמי שפה חיברים?
What Attention Recalls and Recurrence Controls in Hybrid Language Models
דגמי שפה חיברים משלבים זיכרון תשומת הלב עם בקרה חוזרת, אך תפקיד כל אחד מהם נותר לא ברור. חוקרים חקרו את תפקידי כל אחד מהם בדגמי שפה חיברים. הם גילו שזיכרון תשומת הלב נותן גישה למידע שהוזכר, ובקרה חוזרת מגדירה את צורת הביטוי של הדגם.
תקציר מקורי באנגליתarXiv:2609.04434v1 Announce Type: new Abstract: Hybrid language models combine attention with a fixed-size recurrent state, but the role of each channel remains unclear. We introduce two cache-level interventions. Split-prefill keeps only the KV cache or only the recurrent state from a prefilled context, then generates an answer. State-swap pairs the KV cache from one context with the recurrent state from another in a single forward pass. On Qwen3.5 and Falcon-H1, the two channels split sharply by function. Exact retrieval survives only through attention (64-98% of full accuracy) and collapses to zero through recurrence. Output language and persona reverse the pattern: both survive recurrence (70-80% and 3-5x) while KV-only drops to ~1% language accuracy. State-swap confirms this causally:
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית