כתבה
arXiv cs.LG ·
VestigeKV: קיים עצמאי סימן הגירוש של הקאש KV
VestigeKV: The NoPE-MLA KV Cache Carries Its Own Eviction Signal in a Vestigial Branch
VestigeKV: קיים עצמאי סימן הגירוש של הקאש KV. המאמר עוסק בפיתוח של KV cache שמסיר את הסימן הגירוש עצמאית.
תקציר מקורי באנגליתarXiv:2609.03949v1 Announce Type: new Abstract: The problem. A long-lived KV cache must be compressed before the queries that will read it exist; selection by observed attention (H2O, SnapKV) collapses there (0.00-0.33 needle retrieval on a NoPE MLA model), because a token's importance has not yet been observed. The method. On Kimi Linear, VestigeKV evicts by a query-independent signal the cache already carries: the 64-dimensional decoupled branch, a vestige of RoPE that NoPE training repurposes into a salience channel. Reading 11% of each row, it partitions the cache: the top-m rows stay in the attended tier; every other row moves -- exactly, never deleted -- to a GPU-resident archive reachable per step by a certified trigger. No training, no quantization, no weight or kernel change. Cost
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית