כתבה
arXiv cs.AI ·
Cleave: אופטימיזציה של תהליך פרוגרמטי על ידי חיפוש סמלי אלגברי ותכנון פעולות
Cleave: Scaling Tensor Program Optimization via Decoupled Algebraic Search and Operator Scheduling
Cleave מאיצה את תהליך פרוגרמטי תנזנרי על ידי חיפוש סמלי אלגברי ותכנון פעולות. השיטה של Cleave מאפשרת פענוח קוד יעיל יותר וזאת על ידי פירוק תהליך הפרוגרמטי לשלבים נפרדים. Cleave יכולה לשפר את יעילות הקוד עד 2.8 פעמים.
תקציר מקורי באנגליתarXiv:2610.07742v1 Announce Type: cross Abstract: Optimized kernels such as FlashAttention and FlashDecoding are crucial for accelerating today's large models. Most of them are handwritten by experts because existing ML compilers cannot match their efficiency. Producing such kernels requires fusing computations with multiple reductions, which requires both algebraic transformation of the computation graph and operator scheduling of the transformed graph. Unfortunately, searching the two jointly yields a space too large to navigate. We propose Cleave, an ML compiler built on symbolic decoupling: Cleave discovers transformations by performing superoptimization on a graph with symbolic shapes, and then schedules each resulting graph on concrete shapes. Representing shapes as symbols makes equ
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית