כתבה
arXiv cs.LG ·
EStream: פתרון לביצועים מהירים וחיסכון בזיכרון ל-MoE
EStream: Fast and Memory-Efficient MoE Prefill through Expert Virtualization on Mobile NPUs
EStream הוא פתרון חדש שמאפשר ביצועים מהירים וחיסכון בזיכרון למודלים MoE על נקודות גישה ניידות. הוא משתמש בווירטואליזציה של מומחים ואלגוריתם קונפיגורציה תואמת חומרה. EStream מאפשר הגדלת ביצועים והקטנת זיכרון פיזי.
תקציר מקורי באנגליתarXiv:2609.06551v1 Announce Type: cross Abstract: Mobile vendors and application developers increasingly deploy LLMs on smartphones for diverse prefill-only services. Yet current systems rely mainly on dense models whose regular computation maps efficiently to mobile NPUs, leaving more capable MoEs underused. MoE prefill does not fit mobile NPUs: NPU graphs are fixed at compile time, yet MoE picks experts at runtime; and one request touches most experts, more than a phone can hold in memory. We present EStream, which resolves both by separating what the NPU must fix from what MoE decides at runtime. A single compiled expert graph serves every expert, with each expert's routed tokens and weight address bound at call time, so dynamic MoE execution runs entirely on the NPU without padding or
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית