כתבה
arXiv cs.CL ·
התאמה משותפת של ניתוב לזיכרון יעיל ל-MoE
Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference
פותחה שיטה לניתוב משותף עם זיכרון יעיל עבור מודלים MoE. השיטה משפרת את קצב הפגיעה בזיכרון ומקטינה את תנועת הנתונים. נבדקה על מודלים Qwen3 ו-GPT-OSS.
תקציר מקורי באנגליתarXiv:2609.04895v1 Announce Type: new Abstract: Mixture-of-Experts (MoE) models activate only a small subset of experts per token, but the full expert set often exceeds GPU memory, causing repeated weight transfers during decoding. We formulate expert-cache management as a model-side algorithmic problem and propose a cache-aware post-training framework that jointly adapts the MoE backbone and lightweight auxiliary cache routers while preserving the native Top-K expert-selection rule at inference. Its update-only mode, Temporal Router, predicts same-layer reuse and retains experts for future tokens without proactive loading. The full Spatio-Temporal Router adds a Spatio Router that uses the causal predecessor's hidden state to refine the temporal cache before target-layer access. We evaluat
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית