כתבה
arXiv cs.CL ·
רשת החוקים של מעבר
The Lattice of Transition Laws
חוקרים פיתחו רשת לחוקי מעבר עבור מודלים יוצרים. הרשת מאפשרת לחזות את ביצועי לוחות פענוח לפני פענוח במספר קבוע של צעדים. המחקר עוסק במודלים של דיפוזיה ואוטורגרסיה.
תקציר מקורי באנגליתarXiv:2610.11216v1 Announce Type: cross Abstract: Diffusion and autoregression (AR) have long been seen as different categories of generative models, with diffusion specialising in continuous fields and AR specialising in discrete tokens. Recent work seeks to combine the advantages of the two models, and each hybrid fixes its decoding schedule by design. In this paper, we ask whether the performance of decoding schedules of one model can be predicted before decoding at a fixed number of steps. We describe diffusion, AR, and models in between as paths on one corruption lattice, and define the cost of a schedule as the dependence its parallel steps discard. The cost shows that the fewest steps of a zero-cost schedule are set by the geometry of the data, in the same way for tokens and for con
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית