כתבה
arXiv cs.LG ·
כאשר התניית התשומת היא לא מסבירה את השיא: תייחוס זמני נגד תוצאת ניבוי בתקופה-מסתובבת
When Attention Does Not Explain the Peak: Temporal Reference vs. Forecast Output in Attention-Based Time-Series Forecasting
מודלי ניבוי זמני-מסתובבת המבוססים על תשומת-לב עשויים לא לסביר את זמן השיא כפי שמצופה. המחקר חושף תוצאות שונות מאלה שהיו צפויות. המאמר עוסק במודל CLS המשתמש בתשומת-לב כדי לנבות את העתיד. התוצאות המוצגות במאמר חושפות כי התשומת-לב לא מסבירה את זמן השיא. המחברים חושפים תוצאות שונות מאלה שהיו צפויות. המאמר חושף תוצאות שונות מאלה שהיו צפויות.
תקציר מקורי באנגליתarXiv:2610.07080v1 Announce Type: new Abstract: Attention maps are often interpreted as evidence of what a forecasting model uses when making predictions. In our load-forecasting model, a CLS representation of historical demand queries 24 future exogenous horizon tokens through cross-attention, inviting a temporal interpretation in which highly attended horizons may appear to explain forecast peak timing. We test this interpretation using a horizon-level attention descriptor, $\Psi_{\mathrm{out}}$. Across 31 day-aligned windows of the Panama load dataset, the forecast achieves a median peak-time error of 0 h and a 51.6% exact-match rate, whereas the argmax of $\Psi_{\mathrm{out}}$ has a median error of 5 h and 0% exact match. The forecast peak is closer to the observed peak in 27 of 31 win
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית