כתבה
arXiv cs.CL ·
התאמה משותפת של ניתוב לזיכרון יעיל ל-MoE
Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference
פותח גישה חדשה לניהול זיכרון עבור מודלים MoE. השיטה משלבת התאמה משותפת של ניתוב ומודל, תוך שמירה על חוק ה-Top-K. הניסויים בוצעו על מודלים Qwen3 ו-GPT-OSS, והראו שיפור בקצב פגיעה והפחתה בתנועת נתונים.
תקציר מקורי באנגליתarXiv:2609.04895v2 Announce Type: replace Abstract: Mixture-of-Experts (MoE) models activate few experts per token, yet their full expert sets can exceed GPU memory and require repeated weight transfers during decoding. We formulate expert-cache management as a model-side algorithmic problem and propose cache-aware post-training that jointly adapts the MoE backbone and lightweight auxiliary routers while preserving the native inference-time Top-K rule. The update-only Temporal Router learns same-layer retention across tokens without proactive loading. The full Spatio-Temporal Router adds a Spatio Router that uses the causal predecessor's hidden state to refine the temporal cache before target-layer access. We evaluate both modes on Qwen3 and GPT-OSS across GSM8K, MATH, and CommonsenseQA. T
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית