כתבה
arXiv cs.AI ·
UNIFUSION: התאמת מודלי שפה אוטורגרסיביים
UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective
UNIFUSION היא שיטה להתאמת מודלי שפה אוטורגרסיביים לדיפוזיה בדידה. השיטה מאפשרת להתאים מודלים כגון GPT לדיפוזיה אחידה, תוך שיפור היכולת ליצור טקסטים מגוונים. המחקר מציג תוצאות מבטיחות בהשוואה למודלים אחרים.
תקציר מקורי באנגליתarXiv:2607.24507v1 Announce Type: cross Abstract: Existing methods mainly adapt pretrained autoregressive (AR) language models to masked diffusion, whereas we directly adapt them to uniform-noise diffusion, where every token remains editable during sampling. However, adapting AR checkpoints across corruption kernels remains challenging because existing DLMs use different objectives and prediction parameterizations. We establish connections among SEDD, MDLM/GIDD, M2S, and Neural CTMC by expressing their conditional losses as a single generalized Kullback--Leibler objective over model reverse rates. We further derive conversions from clean-token predictions to concrete-score, posterior-mean, and exit-rate/jump parameterizations, yielding a shared \(x_0\) interface that supports switching bet
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית