כתבה
arXiv cs.LG ·
Self-Indexing Attention להפחתת תפוקת העבודה של LLM
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
הצצה ל Self-Indexing Attention - פרקטיקה להפחתת תפוקת העבודה של LLM. הפרויקט משתמש ב Self-Indexing Attention, פרקטיקה שנבנתה על תיאור-תחום-סימן-מגניטודה. הפרקטיקה מאפשרת רישום עצמי של תשומת לב, ומאפשרת רישום עצמי של תשומת לב. הפרקטיקה נבחנה על LongBench ו-RULER, והציגה תוצאות טובות.
תקציר מקורי באנגליתarXiv:2609.13205v1 Announce Type: cross Abstract: Sparse long-context inference requires efficient token retrieval in both prefill and decode. Existing methods often use different retrieval strategies for the two stages, preventing one retrieval representation from being reused throughout inference. We propose Self-Indexing Attention, a training-free framework built on a shared transform-domain sign-magnitude representation. The key signs provide a reusable token-level index for grouped prefill selection and decode retrieval, while the same representation remains compatible with external KV-cache compression without separate indexer metadata. This 1-bit index enables efficient retrieval through bitwise operations widely supported by modern accelerators. At 5% attention density, Self-Indexi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית