כתבה
arXiv cs.AI ·
בריחה מ Oversquashing
Escaping Oversquashing: Addressable and Support-Aware Global Memory for Message Passing Networks
חוקרים פיתחו זיכרון גלובלי ניתן לכתובת ותומך בנתונים גלובליים לרשתות מעבר הודעות. המחקר מציג שיפורים בביצועים על ידי החלפת נתיבים ארוכים בנתיב גלובלי קצר יותר.
תקציר מקורי באנגליתarXiv:2608.02709v2 Announce Type: replace-cross Abstract: Virtual nodes are a natural tool against oversquashing: they replace long message-passing paths by a two-hop global route. But when many nodes share one global state, that shortcut can become a bottleneck itself. We study two properties of this global memory. First, addressability: under constant-margin address codes and a nonlinearity that amplifies this margin, multiplicative write/read maps provide $M$ selectable memory rows with only $O(\log M)$ address-code dimensions. Cross-attention slots and a constrained $ELU+1$ bilinear memory both satisfy these conditions. Second, support awareness: normalized cross-attention has no self-key for a latent query to use as a reference. A learned private anchor supplies this reference, keeps
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית