כתבה
arXiv cs.AI ·
Concertina: פיילוט תכנותי-מרכזי לצורך עבודה רציפה של LLM בקשת זמן ארוכה
Concertina: Data-Centric Adaptive Pipeline Parallelism for Efficient Heterogeneous Long-Context LLM Training
Concertina היא פיילוט תכנותי-מרכזי שמאפשר עבודה רציפה של LLM בקשת זמן ארוכה. הפיילוט משתמש בפרלליזם פייפלים ובסקיפינג של גרדיאנטים כדי לצמצם את העלויות של העבודה. הפיילוט נבחן במספר סקנריות והתוצאות היו טובות.
תקציר מקורי באנגליתarXiv:2509.21275v5 Announce Type: replace-cross Abstract: Long context training is crucial for extending LLM context windows. Existing schemes, such as sequence parallelism, incur substantial communication overhead. Pipeline parallelism (PP) reduces this cost, but its effectiveness hinges on partitioning granularity. Batch-level PP employing sequence packing exhibits high memory consumption in long-context scenarios, whereas token-level PP splitting sequences into slices alleviates memory overhead but may introduce performance degradation. Moreover, the skewed sequence-length distribution in real-world datasets defeats any monolithic, static choice of PP granularity. In this paper, we propose \textit{Dynamic Pipeline Parallelism} (DPP), which transforms PP granularity from a static design
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית