כתבה
arXiv cs.AI ·
איך עצים מועמדים מאבדים מסת יעד
Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding
חוקרים פיתחו שיטה חדשה לאימות עצים מועמדים בתהליך פיענוח. השיטה, הנקראת Tree Exit Verification, משתמשת במידע על יציאה מהעץ כדי לשפר את הדיוק ולהקטין את העיכוב. החוקרים מדווחים על שיפור של 13% באורך הפלט ו-15% בזמן עיבוד.
תקציר מקורי באנגליתarXiv:2610.11750v1 Announce Type: new Abstract: Tree-based speculative decoding verifies multiple draft continuations in one target-model pass, but finite trees built from draft scores face a fundamental draft-target mismatch. We ask whether better exact verification can increase acceptance on a fixed tree and how target feedback can improve the tree itself. Through a target-flow view, we identify a canonical exit law and prove that one plus target coverage sharply bounds the expected output-block length, including the bonus token, of any exact path verifier. All optimal verifiers share the same exit and bonus-token law, already attained by representative predraw-and-follow and sequential residual verifiers. This yields Tree Exit Verification (TEV), an exact, level-parallel procedure using
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית