כתבה
arXiv cs.LG ·
חשיבה עם זרימות מח�רות
Thinking with Looped Flows
חוקרים הציעו שיטה חדשה לאימון מודלים עמוקים, הנקראת 'זרימות מחזוריות'. השיטה מאפשרת למודלים לפתור בעיות מורכבות יותר על ידי ביצוע יותר חישובים. הניסויים הראו שהשיטה החדשה משפרת את הביצועים של מודלים קיימים.
תקציר מקורי באנגליתarXiv:2609.11801v1 Announce Type: new Abstract: Humans and machines often solve harder problems by spending more time on computation. In deep learning, looped models implement this idea during inference by recurrently updating a hidden state. In practice, however, their training backpropagates through only one or a few updates, making it hard to train early updates to support future ones. We propose looped flows, an approach that sidesteps this issue by training the recurrence with local denoising objectives. By imposing temporal association across denoising objectives through progressively decreasing noise levels and shared noise, the model is incentivized to learn recurrent states that transfer useful computation over time, even when gradients cover only a few updates. We then formulate
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית