כתבה
arXiv cs.LG ·
דרפט במקביל, תנאי דרך עומק: הזרקת גורמים סיבתיים סמוכים לקידוד ספקולטיבי
Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding
דרפט במקביל עם הזרקת תנאי סיבתיים סמוכים דרך כל העמודה. זה מאפשר קידוד ספקולטיבי עם תנאים סיבתיים שמתעדכנים במקביל. המאמר מציג את DSpine, דרפט חדש שמשלב זאת. התוצאות הן קידוד ספקולטיבי טוב יותר והגדלת תעבורה.
תקציר מקורי באנגליתarXiv:2609.36173v1 Announce Type: new Abstract: Parallel speculative drafting generates multiple candidates in one backbone pass, but independent token selection can produce inconsistent continuations that shorten the accepted prefix. Existing methods mostly leave conditional decoding to a lightweight module after the backbone, which limits the flow of predecessor information to successors. Our analysis of DFlash shows that early positions already form recoverable predictions in shallow layers, and that accurate adjacent predecessors help successors more when they enter earlier. We therefore propose DSpine, a drafter with causal conditioning injection throughout the backbone: at every layer, gated adjacent injection writes each predecessor's predicted feature into its successor, so the cau
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית