כתבה
arXiv cs.CL ·
KV$^2$: קובץ ערכי-מפתח עצמאי
KV$^2$: A Self-Refining KV Cache
נושא: פיתוח קובץ ערכי-מפתח עצמאי. KV$^2$ הוא שיטת קיצור זיכרון ערכי-מפתח, המשתמשת בסקורים קלים כדי לזהות טוקן-מפתח חשובים. השיטה נבחנה במערכות RULER, Needle-in-a-Haystack ו-LongBench.
תקציר מקורי באנגליתarXiv:2610.03198v1 Announce Type: cross Abstract: The memory footprint of the key-value (KV) cache constrains the practical use of long-context models, and it dominates cost when one prefilled context must later serve many different queries. In this reusable setting, query-agnostic compression trades cost against quality: lightweight estimators are cheap but less accurate, whereas full-context reconstruction scoring is more accurate yet reprocesses the entire prompt. We introduce KV$^2$, a query-agnostic KV-cache compression method based on selective reconstruction. KV$^2$ first uses a lightweight proxy scorer to identify informative in-context tokens, then reprocesses only this subset to compute final eviction scores. On RULER, Needle-in-a-Haystack, and LongBench, KV$^2$'s margin over bas
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית