כתבה
arXiv cs.CL ·
האם דיפוזיה בדידה אחידה זקוקה לזמן?
Does Uniform Discrete Diffusion Need Time?
מודלים של דיפוזיה בדידה אחידה (UDM) נפוצים בשימוש בתנאי זמן מפורש, אך מחקר זה מראה כי זה עשוי להיות מיותר בפועל. המחקר מוכיח כי המנבא האופטימלי של UDM תלוי בזמן, אך תלות זו יכולה להיות זניחה בהגדרות נתונים סופיים. ניסויים אמפיריים הראו כי מודלים מאומנים של UDM מראים רגישות מוגבלת לזמן.
תקציר מקורי באנגליתarXiv:2609.30977v1 Announce Type: cross Abstract: Uniform discrete diffusion models (UDMs) commonly use explicit time conditioning, but we find that it can often be unnecessary in practice. In this paper, we first show that the population-optimal UDM predictor generally depends on time: time controls how much the model should trust the observed context. We then show that this dependence can become negligible in finite-data settings relevant to language. When a corrupted training sequence remains much closer to its original clean sequence than to competing training sequences, the empirical-optimal predictor is nearly insensitive to time over most of the diffusion trajectory, where the guarantee weakens toward the high-noise endpoint. Empirically, trained language UDMs exhibit limited time s
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית