כתבה
arXiv cs.LG ·
זיכרון CXL נקבוצה: זיכרון משותף כמשאב Kubernetes-נטיבי לטיפול ב-LLM
Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving
במאמר זה, המחברים מציגים דרייבר Kubernetes דינמי לבידוד זיכרון CXL, ומבחינים בשימוש בזיכרון המשותף כטירה לקבצי נתונים עבור טיפול ב-LLM. הדרייבר מקבצת רגישויות CXL בהתאם לבקשה, ומחבר אותן לכלי DAX על כל כלי המשתתפים, ומשלב אותם לפודים תחת שם רכיב CDI אחד, כך שפודים על כלי שונים יכולים לגשת לאותו רגישות פיזית.
תקציר מקורי באנגליתarXiv:2609.10790v1 Announce Type: cross Abstract: We present a Kubernetes Dynamic Resource Allocation (DRA) driver that makes composable CXL memory a schedulable cluster resource, and evaluate the resulting shared-memory tier for cross-node KV-cache reuse in LLM serving. The driver composes CXL regions on demand, materializes them as DAX devices on each participating host, and injects them into pods under a single Container Device Interface (CDI) name so that pods on different nodes access the same physical region. A shared-memory connector for vLLM/llm-d uses that region as a KV-cache tier with a slot directory embedded inside the shared medium, which eliminates the need for an external metadata service. On a two-node cluster with a 512\,GiB CXL appliance and Qwen2.5-7B-Instruct, cross-no
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית