כתבה
arXiv cs.LG ·
אם דיפוזיה דיסקרטית חד-פורמטית צריכה זמן?
Does Uniform Discrete Diffusion Need Time?
אנו מצאנו שהפסיקה הזמנית המובהקת אינה חייבת בפועל בדיפוזיה דיסקרטית חד-פורמטית. ניתן להשתמש בפרדיקטורים זמן-אגנוסטיים כדי להשיג תוצאות טובות.
תקציר מקורי באנגליתarXiv:2609.30977v1 Announce Type: new Abstract: Uniform discrete diffusion models (UDMs) commonly use explicit time conditioning, but we find that it can often be unnecessary in practice. In this paper, we first show that the population-optimal UDM predictor generally depends on time: time controls how much the model should trust the observed context. We then show that this dependence can become negligible in finite-data settings relevant to language. When a corrupted training sequence remains much closer to its original clean sequence than to competing training sequences, the empirical-optimal predictor is nearly insensitive to time over most of the diffusion trajectory, where the guarantee weakens toward the high-noise endpoint. Empirically, trained language UDMs exhibit limited time sen
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית