יום חמישי, 8 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

HySPE: קידוד עמדה דרך שסתום סימפלקטי היפרבולי

HySPE: Positional Encoding via Symplectic Dual Shears
HySPE הוא שיטה חדשה לקידוד עמדה במודלים עמוקים. היא משתמשת בשיטות סימפלקטיות היפרבוליות כדי לשפר את היכולת של המודל להבין טקסט ארוך. הניסויים הראו ש-HySPE משפרת את הביצועים של המודלים על טקסט ארוך.
תקציר מקורי באנגליתarXiv:2610.10154v1 Announce Type: new Abstract: We introduce Hyperbolic Symplectic Positional Encoding (HySPE), grounding positional attention in non-compact symplectic transformations. While canonical Rotary Position Embedding (RoPE) parameterizes the compact, elliptic branch of $\Sp(2,\R)$ via rotations, HySPE operationalizes its hyperbolic branch via a damped symmetric composition of dual shears, yielding a conformally symplectic contraction with two spectral decay rates per channel pair. To eliminate the exponential representation drift inherent to naive absolute factorizations, we diagonalize the operator in its invariant eigenbasis and introduce blockwise coordinate rebasing with adaptive centered execution. This guarantees length-independent numerical bounds while matching cached Ro
קרא במקור המקורי