יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.AI ·

ספירה-מותקפת של סיימפלר למודלי דיפוזיה-מסוגרת לשפה

Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models
אדפטיבי של סיימפלר, המספק ספירה-מותקפת למודלי דיפוזיה-מסוגרת לשפה. הסיימפלר, ADAS, משתמש בספירה-מותקפת כדי לשפר את תפעוליות המודל. הסיימפלר נבחן במספר מבחנים, כולל GSM8K ו-MATH500.
תקציר מקורי באנגליתarXiv:2606.10829v4 Announce Type: replace-cross Abstract: Masked diffusion language models can reduce inference steps by revealing multiple tokens per denoising iteration, but this parallelism is fragile: positions that are individually confident may be unsafe to commit together when their predictions are coupled. Existing training-free samplers such as Top-\(k\), Fast-dLLM, and EB-Sampler mainly control how many tokens to reveal, while often ranking candidates by token-wise scores that ignore interactions within the selected set. We propose ADAS, a training-free reranking rule that leaves the base sampler's stopping rule unchanged and greedily discounts each token-wise confidence score according to its attention to already selected positions, weighted by their prediction uncertainty. Acro
קרא במקור המקורי