כתבה
arXiv cs.LG ·
AgentKV: פינוי-זיכרון-פאזי ל-LLMs
AgentKV: Phase-Aware KV Eviction for Agentic LLMs
AgentKV משפר את ביצועי LLMs אגנטיים ב-5.5 נקודות בממוצע. המערכת מטפלת בבעיה של פינוי-זיכרון ב-LiLMs, ומציעה פתרון חדשני. המחברים הציגו את AgentKV במאמר שפורסם ב-arXiv.
תקציר מקורי באנגליתarXiv:2609.14872v1 Announce Type: new Abstract: Agentic serving can consume orders of magnitude more tokens than chatbot workloads, stressing both KV-cache capacity and decode-time bandwidth. Most KV-eviction methods score cached keys against representative queries drawn from the most recent tokens, assuming future attention resembles recent attention. We show that agentic generation violates this assumption: future queries form a mixture over think, act, tool, and others phases, and principal-angle analysis shows these components occupy measurably different query subspaces, so recency representatives systematically undervalue keys that upcoming phases will need. We propose AGENTKV, which maintains a small query buffer per phase and scores cached keys against their union. We further implem
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית