כתבה
arXiv cs.CL ·
ELF-REG: הגברת מודלי שפה רציפים
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
ELF-REG משפר את ביצועי מודלי שפה רציפים במטלות תפיסה. המודל משתמש ב-REPA+REG, שיטה חדשה ללמידה עם התאמת ייצוגים. ELF-REG-L מגיע ל-55.96% pass@1 על GSM8K.
תקציר מקורי באנגליתarXiv:2609.29102v2 Announce Type: replace Abstract: Fully continuous diffusion language models (dLMs) denoise continuous representations without intermediate discretization, then decode all response tokens in parallel at the final step. Their performance on challenging reasoning tasks remains less established than that of autoregressive (AR) LLMs and masked dLMs. We scale Embedded Language Flows (ELF) to mathematical reasoning and code generation on GSM8K, MATH-500, HumanEval, and MBPP. We introduce ELF-REG, which improves learning with representation alignment and entanglement (REPA+REG), where a frozen AR teacher supervises intermediate denoiser features and supplies a global representation that is jointly denoised with the response. ELF-REG-L achieves 55.96% pass@1 on GSM8K at 64 networ
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית