כתבה
arXiv cs.CL ·
התמיינות עצמית לאטנציה לצורך קיצור זיכרון ל-LLM
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
מערכת התמיינות עצמית לאטנציה לצורך קיצור זיכרון ל-LLM. המערכת מאפשרת קיצור זיכרון של 6.1x בפרפיל ו-10.3x בדיקוד. המערכת תומכת גם בקיצור זיכרון של 5%.
תקציר מקורי באנגליתarXiv:2609.13205v1 Announce Type: cross Abstract: Sparse long-context inference requires efficient token retrieval in both prefill and decode. Existing methods often use different retrieval strategies for the two stages, preventing one retrieval representation from being reused throughout inference. We propose Self-Indexing Attention, a training-free framework built on a shared transform-domain sign-magnitude representation. The key signs provide a reusable token-level index for grouped prefill selection and decode retrieval, while the same representation remains compatible with external KV-cache compression without separate indexer metadata. This 1-bit index enables efficient retrieval through bitwise operations widely supported by modern accelerators. At 5% attention density, Self-Indexi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית