כתבה
arXiv cs.LG ·
DynBranch: שימוש חוזר בסבגרף ספקולטיבי
DynBranch: Speculative Subgraph Reuse for Dynamic Agentic LLM Serving
DynBranch הוא פתרון שמאפשר שימוש חוזר בחלקים של גרף עבור LLM. הוא מפחית את זמן ההמתנה בעד 32% ב-4 מטעיני עבודה שונים עם Qwen3-32B. היתרון נשמר גם על גבי משפחות בקרת אחורה שונות.
תקציר מקורי באנגליתarXiv:2609.31047v1 Announce Type: cross Abstract: Agentic LLM workflows decide their execution paths at runtime. Downstream computation may be predictable, or may have run before, yet it cannot begin until the model or the user resolves the branch. We call this serialization the branch-resolution barrier. Caching alone does not hide it: the key that identifies a reusable result is not known until then. In this paper, we propose DynBranch, which makes an unresolved branch addressable before it resolves. Its stable coordinate lets candidate subgraphs run during resolution and completed subgraph results be reused across later requests. A two-level controller admits this work when its expected benefit exceeds the load price. DynBranch sits at the model-API boundary and requires no changes to a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית