כתבה
arXiv cs.AI ·
mKernel: קרנלים מהירים ל-GPU רבים
mKernel: Fast Multi-GPU, Multi-Node Fused Kernels
mKernel הוא ספרייה של קרנלים מהירים ל-GPU רבים ומספר צומתים. הוא מאפשר חפיפה של חישוב, תקשורת ו-RDMA ברמת קרנל. mKernel מיושם על גבי חומרה של NVIDIA ומשיג שיפורים בביצועים.
תקציר מקורי באנגליתarXiv:2609.13585v1 Announce Type: cross Abstract: Communication has become a bottleneck in distributed training and inference of large models. Overlapping communication with computation at the granularity of kernels, on separate streams, reduces only part of this communication cost. Fused kernels often have better performance by transmitting each output tile as soon as it is produced, but existing fused kernels are largely confined to a single NVLink domain. We present mKernel, a library of multi-GPU, multi-node fused kernels that overlap computation, intra-node NVLink communication, and inter-node RDMA at tile granularity. mKernel partitions the streaming multiprocessors (SMs) of a persistent kernel into compute and communication roles, and an on-GPU controller tunes the SM partition adap
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית