כתבה
arXiv cs.AI ·
פיענוח ספקולטיבי וריאציוני
Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
Variational Speculative Decoding (VSD) הוא שיטה חדשה לשיפור ביצועי הפיענוח של מודלים לשפה גדולים (LLM). VSD משתמשת בשיטות וריאציוניות כדי לשפר את איכות ההצעות הלטנטיות ולהקטין את הסטייה מההתפלגות היעד. השיטה הוכחה כיעילה בניסויים רבים.
תקציר מקורי באנגליתarXiv:2602.05774v5 Announce Type: replace-cross Abstract: Speculative decoding accelerates inference for (M)LLMs, yet a training-decoding discrepancy persists: while existing methods optimize single greedy trajectories, decoding involves verifying and ranking multiple sampled draft paths. We propose Variational Speculative Decoding (VSD), formulating draft training as variational inference over latent proposals (draft paths). VSD maximizes the marginal probability of target-model acceptance, yielding an ELBO that promotes high-quality latent proposals while minimizing divergence from the target distribution. To enhance quality and reduce variance, we incorporate a path-level utility and optimize via an Expectation-Maximization procedure. The E-step draws Monte Carlo samples from an oracle-
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית