כתבה
arXiv cs.AI ·
FineServe: מאגר נתונים ואפיון של עומסי עבודה של LLM
FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads
FineServe הוא מאגר נתונים חדש לאפיון עומסי עבודה של מודלים לשוניים גדולים (LLM). המאגר כולל נתונים משוק מסחרי גלובלי, ומאפשר אפיון עדין של דינמיקת שרתי LLM. המחקר מציג תובנות חדשות על התנהגות המודלים ומציע כלי ליצירת עומסי עבודה מלאכותיים.
תקציר מקורי באנגליתarXiv:2607.19349v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly deployed as always-on online services, making efficient LLM serving a critical systems challenge. Achieving low latency and high throughput under volatile demand requires deep understanding of real-world serving workloads, yet existing studies often rely on proxy traces or coarse-grained characterizations that fail to capture the heterogeneity of modern multi-model LLM platforms. We present FineServe, an in-the-wild, multi-model LLM serving workload dataset collected from a global commercial marketplace, enabling fine-grained characterization of real-world serving dynamics across heterogeneous models and tasks. Leveraging FineServe, we conduct a comprehensive analysis of arrival dynamics and token
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית