כתבה
arXiv cs.LG ·
כאשר לגרש, ולא מה לשמור: דרפט-מנחה לגירוש חינם להקטנת קאש KV
When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression
מתודות הקטנת קאש KV ללא הכשרה נכשלות באופטימיזציה של מה לשמור. דרפט-מנחה לגירוש חינם דוחה את הגירוש עד אחרי דרפט של 2 טוקן-תשובה.
תקציר מקורי באנגליתarXiv:2609.33334v2 Announce Type: replace Abstract: Training-free KV-cache compression methods such as SnapKV, H2O, and PyramidKV evict tokens at the end of prefill, aiming to preserve the attention mass that future queries are expected to use -optimizing what to keep. We show that this objective fails in two distinct ways. (1) Compensation: restoring the evicted attention mass can recover the attention-level target without recovering task quality. (2) Selection: covering more of the true decode-query mass can hurt quality when the recovered mass is fragmented rather than concentrated in coherent spans. These failures share a common cause: eviction occurs before the queries that determine the answer trajectory exist. We propose Draft-Guided Eviction (DGE), which defers eviction until after
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית