כתבה
arXiv cs.AI ·
SMetric: ארכיטקטורה חדשה לניהול LLM
SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
SMetric היא ארכיטקטורה חדשה לניהול LLM שמשפרת ביצועים עבור סוכנים. היא מאפשרת איזון עומס עבודה ושימוש חוזר בנתונים. SMetric משתמשת באינדקסים מקומיים וגלובליים כדי לשפר ביצועים.
תקציר מקורי באנגליתarXiv:2607.08565v2 Announce Type: replace-cross Abstract: LLM scheduling is critical to serving, yet how well existing designs fit agentic serving--where agents, not humans, issue the requests--remains unclear. Agents shift the workload in two ways: they consume many more tokens than humans, so the cluster must provide high throughput (TPS) at low latency; and their requests reuse far more KV\$ than chat. Existing schedulers still trade off load balance against KV\$ reuse: cache-aware schedulers may crowd requests onto the few instances caching the KV\$, leaving the rest idle, while balanced schedulers may lose the opportunity for reuse, which is costly at a high reuse ratio. We thus present two key insights: (1) with a global-tier KV\$ store, pursuing load balance need not compromise KV\$
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית