כתבה
arXiv cs.AI ·
GLIDE: תשומת לב היברידית מונחית שכבות לחיזוי LLM יעיל
GLIDE: Guided Layerwise Hybrid Attention for Efficient LLM Inference
GLIDE היא שיטה חדשה לחיזוי יעיל של מודלי שפה גדולים. היא משלבת תשומת לב היברידית ואגרגציה רציפה, ומאפשרת להפחית את העומס החישובי ואת זמן התגובה. GLIDE נבדקה על מודלים כמו LLaMA והראתה תוצאות משופרות.
תקציר מקורי באנגליתarXiv:2607.24788v1 Announce Type: new Abstract: As Large Language Models scale to increasingly long contexts, the memory I/O and computational overhead of the Key-Value (KV) cache during decoding emerges as the primary throughput bottleneck. To address this, we propose GLIDE, a Guided Layerwise Hybrid Attention that strategically integrates sliding-window softmax attention with linear recurrent aggregation. GLIDE is motivated by layer-wise heterogeneity: early layers exhibit high sensitivity to softmax removal, while deeper layers demonstrate redundancy and tolerate aggressive replacement by linear alternatives. Leveraging this insight, GLIDE introduces a layer-wise adaptive mechanism wherein each layer balances an efficient linear recurrence with a variable-sized softmax window. Unlike un
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית