כתבה
arXiv cs.LG ·
קישורי זיכרון משותפים לקצירה 27B: כשלי נכונות וגבולות ביצועיות
Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries
קישורי זיכרון משותף לקצירה 27B של רפליקות זהה משפר את הביצועים והנכונות. המחקר חקר שני רפליקות של וLLM 27B שמשתמשות בקישורי זיכרון משותף של 256 GB. התוצאות הראו שהקישורי זיכרון משותף גרם לשיפור של 35% ו-45% בביצועים של סשנים סינתטיים של 6 תורים.
תקציר מקורי באנגליתarXiv:2609.15021v1 Announce Type: cross Abstract: Shared host-memory caching can avoid repeated prefill when a request moves between inference replicas. Its usefulness depends on both correct state transfer and lost prefix locality. We study two single-GPU 27B vLLM replicas sharing a 256 GiB LMCache pool. After adopting an existing packed-page patch, we isolate a raw-pointer fallback that omits the dependency on the current CUDA stream. Controlled byte tests fail under an imposed delay and pass when the dependency is restored; the existing mixed allocator provides a working deployment path. Full-pool allocation checks and service regression complete the validation. A four-block OFF-ON-ON-OFF comparison contains 768 measured requests within two block pairs. Median cross-replica time to firs
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית