כתבה
arXiv cs.LG ·
UltraQuant: קידוד 4-ביט למטמון KV עבור סוכנים כבדי הקשר
UltraQuant: 4-bit KV Caching for Context-Heavy Agents
UltraQuant הוא שיטה חדשה לקידוד 4-ביט למטמון KV, המיועדת לסוכנים כבדי הקשר. השיטה משתמשת בטכניקות כגון TurboQuant וקידוד קוד-בוק. היא תומכת ב-GPU של AMD ומשפרת את הביצועים במצבים של הרבה קשר וזיכרון מוגבל. השיטה נבדקה עם Claude Code והראתה שיפורים משמעותיים בביצועים.
תקציר מקורי באנגליתarXiv:2606.20474v3 Announce Type: replace Abstract: Context-heavy agents place substantial pressure on the key-value (KV) cache: long prefixes are reused across many short turns, while concurrency determines whether the serving system can keep GPUs utilized. We study 4-bit KV-cache compression for this setting, using TurboQuant-style rotation and codebook quantization as a quality anchor and vLLM FP8 KV caching as the deployment anchor. We report three contributions. First, we frame 4-bit KV caching around multi-round agent workloads where task quality, cache residency, and serving throughput must be measured jointly. Second, we describe the practical design choices needed to make the 4-bit path robust, including asymmetric K/V treatment, Walsh-Hadamard rotation, QJL removal, and block-sca
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית