יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

תגובות תאמן סופיות ללא תשומת לב

Exact Finite Attention Responses From RoPE Derivatives
במאמר זה פותחים תגובות תאמן סופיות ללא תשומת לב, כאשר ה-RoPE דריבטיב נחשב. התגובות הסופיות מאפשרות ציון דירוג לשינויים קודם-מחשבה. המאמר כולל גם תיאור של קלקול חלקי וקריטריון KL לטעות התאמן המקומית.
תקציר מקורי באנגליתarXiv:2609.14127v1 Announce Type: cross Abstract: We derive exact local responses for attention interventions, allowing candidate edits to be scored from a cached baseline and one backward pass. The starting point is the RoPE derivative $\partial_p z(p) = A z(p)$: its integral gives the finite positional displacement, which we carry through the softmax without linearising either rotation or normalisation. The resulting predictions achieve 95.36--96.52% sign accuracy across 92,160 executed positional edits on 768 held-out prompt sets, reducing answer-margin MAE by 73.6--82.5% against the positional Jacobian and by 36.2--50.9% against zero. For simultaneous key and value edits, the same divided-difference calculus isolates the interaction term $C_{KV} = \sum_j (p'_j - p_j)\,\varepsilon_j$, w
קרא במקור המקורי