כתבה
arXiv cs.LG ·
AvoKV-E: סילוק קאש KV-אוונט-אייר
AvoKV-E: Payload-Aware KV Cache Eviction for Long Reasoning
AvoKV-E: פוליתיקה סילוק-קאש KV-אוונט-אייר, המאפשרת סילוק קאש באופן אוטומטי ובלי הכשרה מוקדמת, עבור קאש KV של תהליכי סיבוכיות גבוהה.
תקציר מקורי באנגליתarXiv:2610.03007v1 Announce Type: new Abstract: Long-output reasoning shifts the KV-cache bottleneck from the fixed prompt to the generated trace. Existing reasoning-cache eviction methods largely treat cached entries as routing objects, estimating whether an old key will still be read, will recur, or can be replaced. This routing-only view overlooks two effects: low-attention entries can carry large value payloads whose removal changes future predictions, and newly generated states can appear stale before later queries have had a chance to read them. We introduce AvoKV-E, a training-free eviction policy that first delays eligibility for recent states and then ranks eligible entries using candidate-normalized read pressure, key redundancy, and value-payload potential. According to empirica
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית