כתבה
arXiv cs.LG ·
Clock Diffusion: מודלים סמי-אוטורגרסיביים לשפה
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
Clock Diffusion הוא מודל שפה חדש שמשתמש ברעש תלוי מיקום כדי ליצור מודלים סמי-אוטורגרסיביים. המודל משיג ביצועים טובים על OpenWebText ו-TinyGSM.
תקציר מקורי באנגליתarXiv:2610.00894v1 Announce Type: new Abstract: Recent works on continuous diffusion for discrete data have demonstrated performance on par with comparable discrete diffusion models. However, these continuous counterparts lack key features that are essential to practical use as language models, namely variable-length generation and support for a key-value cache, and they still lag behind the frontier of autoregressive and discrete diffusion quality. In this work, we address these limitations. We do so by introducing a model parameterization that uses position-dependent noise schedules to define semi-autoregressive (SAR) continuous diffusion language models (DLMs). Together with efficient training and sampling algorithms, we call this framework Clock Diffusion, and we present two special ca
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית