כתבה
arXiv cs.LG ·
דגמי תחבורה דיסקרטיים של בקמן ללמידת שפה אחת-צעד ולתפיסה
Discrete Beckmann Transport Models for One-Step Language Modeling and Reasoning
אנו מציגים דגמי תחבורה דיסקרטיים של בקמן שמאפשרים למידת שפה אחת-צעד ותפיסה. הדגמים האלה מבוססים על זרימה זמן-עצמית שאופיינית לזרימה של בקמן. הדגמים נבנו כך שהם יכולים לקבל נקודה כלשהי במרחב התלוי-מקום ולהוביל אותה לנקודה קבועה על פני השפה בצעד אחד. הדגמים נבנו כך שהם יכולים להפעיל תפיסה אחת-צעד ולהפעיל תפיסה כמה-צעדים.
תקציר מקורי באנגליתarXiv:2609.15903v1 Announce Type: new Abstract: Discrete diffusion and flow models are a promising alternative to autoregressive language models, but compressing many-step sampling into fewer steps typically requires distilling a pretrained teacher model. This caps the student at the teacher's quality and requires a costly two-stage training pipeline. We introduce Discrete Beckmann Transport Models (DBTM), built on a time-independent flow whose autonomous transport map provably carries any point in the ambient space to a fixed point on the vertices of the simplex in a single step. We show that this fixed-point property is characterized by a conservation equation whose residual can be minimized directly from data, removing the requirement for a teacher flow and time conditioning. Under this
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית