כתבה
arXiv cs.AI ·
AvoKV-E: סילוק מספריית KV עם התחשבות בפיילוד
AvoKV-E: Payload-Aware KV Cache Eviction for Long Reasoning
AvoKV-E: פוליתיקה סילוק מספריית KV לקציר תגובה ארוך, המתחשבת בפיילוד. פותחה עבור מודלי Gemini ו-GPT-5.
תקציר מקורי באנגליתarXiv:2610.03007v1 Announce Type: cross Abstract: Long-output reasoning shifts the KV-cache bottleneck from the fixed prompt to the generated trace. Existing reasoning-cache eviction methods largely treat cached entries as routing objects, estimating whether an old key will still be read, will recur, or can be replaced. This routing-only view overlooks two effects: low-attention entries can carry large value payloads whose removal changes future predictions, and newly generated states can appear stale before later queries have had a chance to read them. We introduce AvoKV-E, a training-free eviction policy that first delays eligibility for recent states and then ranks eligible entries using candidate-normalized read pressure, key redundancy, and value-payload potential. According to empiri
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית