כתבה
arXiv cs.LG ·
DySCo: תחרות דינאמית לשארדינג להפרעה-ענן של LLM להפרעה עם סינכרון-דופן של עקיפה
DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
DySCo הוא פרויקט שמטרתו לשפר את ביצועי ה-LLM בענן ובגבולות. הוא משתמש בשארדינג דינאמי כדי לחלק את המודל לחלקים שונים, ולבצע את החישובים בצורה סינכרונית. זה יכול לשפר את הביצועים ולאפשר למערכות להיות יעילות יותר.
תקציר מקורי באנגליתarXiv:2610.08268v1 Announce Type: cross Abstract: Pervasive intelligent applications are increasingly deployed on mobile and Internet of Things (IoT) edge devices. Consequently, Large Language Models (LLMs) are increasingly used to support these applications. Yet, due to their high resource demands, LLMs are mostly deployed in the cloud. Layer-wise edge-cloud inference lets resource-constrained edge devices contribute computation to LLMs they cannot host in full. However, heterogeneous split points introduce two coupled inefficiencies. First, edge execution and communication create idle gaps between cloud invocations. Second, requests arriving at different model depths cannot be conventionally batched. We present DySCo, a collaborative runtime that keeps KV caches local and introduces dyFo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית