כתבה
arXiv cs.LG ·
תשומת לב טופולוגית
Let the Heads Talk: Beyond Diagonal Graph Attention
חוקרים מציגים תשומת לב טופולוגית, שיטה חדשה ללמידת גרפים. השיטה מאפשרת תקשורת ב间-ראשים, מה שמשפר את היכולת ללמוד מידע מורכב. החוקרים בדקו את השיטה במספר מטלות, כולל סיווג צמתים הטרוגניים.
תקציר מקורי באנגליתarXiv:2610.01494v1 Announce Type: new Abstract: Sheaf Neural Networks generalize scalar-weighted message passing by replacing scalar edge weights with linear transport maps between local feature spaces. Yet the role of this matrix-valued transport is entangled with the broader sheaf-diffusion construction. We isolate the transport primitive through quiver representations and establish a direct connection with multi-head attention. Treating attention heads as coordinates of a local transport space reveals that standard multi-head attention implements diagonal edge maps: along each directed interaction, a source head can contribute only to the corresponding receiver head. Allowing off-diagonal entries instead enables edge-conditioned communication across heads before neighborhood aggregation
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית