כתבה
arXiv cs.LG ·
לא צריך להיות תלוי בגרדיאנטים רחוקים: תכנון זכויות עם ערך-אמינות לקטיעת קצב
Large Distant Gradients Need Not Be Reliable: reliability-weighted credit assignment for long-horizon autoregressive forecasting
אין צורך להיות תלוי בגרדיאנטים רחוקים: תכנון זכויות עם ערך-אמינות לקטיעת קצב לצפייה אוטומטית בעתיד ארוך. המאמר עוסק בפיתוח של Internal-DW, טכניקה שמטפלת בבעיית גרדיאנטים רחוקים. הטכניקה נבחנה בארבעה תצורים שונים והתגלה שהיא משפרת את תוצאות הצפייה.
תקציר מקורי באנגליתarXiv:2609.12890v3 Announce Type: replace Abstract: In autoregressive forecasting, long prediction rollouts provide distant supervision, but backpropagation through time (BPTT) carries gradients from those losses through many autoregressive steps. Repeated Jacobian products can make distant gradients dominate the update while amplifying predictable signal and unpredictable innovation together; a large distant gradient therefore need not carry reliable learning signal. Motivated by this, we introduce Internal Dual-Wiener routing (Internal-DW), a backward-only intervention that preserves the full forward rollout and all step losses while reliability-weighting internal gradient routes. At each residual block, we derive bounded Wiener gains for the identity and nonlinear routes that balance pr
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית