כתבה
arXiv cs.AI ·
SpecBox: תכנון חולות מיקוד לשרתי LLM
SpecBox: Speculative Sandbox Scheduling for Efficient LLM Agent Serving
SpecBox הוא פתרון לבעיית האיזון בין ניצול משאבים לעכבה בשרתי LLM. הוא משתמש בטכניקות מתקדמות כדי לקדם את הביצועים. SpecBox מוריד את זמן העכבה וצריכת הזיכרון.
תקציר מקורי באנגליתarXiv:2607.23933v1 Announce Type: cross Abstract: As LLM agents increasingly rely on the Model Context Protocol (MCP) to invoke isolated external sandboxes, disaggregated sandbox deployment introduces a fundamental tension between resource utilization and interactive tail latency. Persistent long-lived sandbox reservations incur excessive memory overhead at scale, while lazy on-demand instantiation generates severe cold-start penalties that degrade response performance under multi-tenant, multi-turn agent workloads. To resolve this dilemma, we present SpecBox, a runtime built around speculative sandbox preallocation tailored for dynamic LLM agent execution pipelines. At its core, SpecBox implements keyword matching and streaming semantic embedding to enable intent-driven sandbox prewarming
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית