כתבה
arXiv cs.CL ·
KVEraser: למד לשלוט בקאש KV לשם עיתור קונטקסט מקומי באופן יעיל
KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing
KVEraser הוא שיטה חדשה לעיתור קונטקסט מקומי באופן יעיל, המאפשרת שיפור בביצועי ה-LLM. השיטה משתמשת בלמידה עצמית כדי ללמוד כיצד לשלוט בקאש KV כדי למחוק קונטקסט מקומי. KVEraser נבדקה במספר תרחישים והוכיחה עצמה כיעילה ויעילה.
תקציר מקורי באנגליתarXiv:2606.17034v3 Announce Type: replace Abstract: Post-hoc context erasing over the KV cache is challenging because a local edit has a global consequence: once a span has been processed, its influence propagates into the cached states of all subsequent tokens. This issue arises naturally in long-context LLM applications, where stale, incorrect, or harmful context may be identified only after prefill. Exact erasing must then recompute all tokens after the deleted span, making its computational cost depend on suffix length rather than erased-span length. We introduce KVEraser, a learned KV-cache editing method for efficient localized context erasing. KVEraser replaces the KV states of the erased interval with learned steering states while reusing the remaining cache unchanged. To learn a t
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית