כתבה
arXiv cs.LG ·
בריחה מתקרת הקיבולת: ניתוב ביחידת Stiefel לשכבות SPD ביליניאריות
Escaping the Capacity Ceiling: Routing on the Stiefel Manifold for Bilinear SPD Layers
SCAP הוא שכבה חדשה המיישמת משפחה של מסנני Stiefel על ידי שילוב בריכות של מומחים למפה ביליניארית דרך תשומת לב הדדית. השיטה משפרת את הדיוק בחמישה מאגרי EEG מוטור-דמיון.
תקציר מקורי באנגליתarXiv:2605.31043v2 Announce Type: replace-cross Abstract: Deep networks on the symmetric positive-definite (SPD) manifold promise expressive representations by encoding data geometry as an inductive bias, but stacking BiMap layers with the standard ReEig nonlinearity often adds no capacity: on real, preconditioned EEG data, ReEig rarely activates, so the stack behaves as a single layer at any depth. In the worst case, when domains share no discriminative directions, we prove a single filter has a capacity ceiling, so it cannot fully align every domain at once. To overcome that, we propose SCAP (Stiefel Cross-Attention Pool), a layer implementing a family of Stiefel filters by combining a pool of $K$ experts into a sample-specific bilinear map via cross-attention. We show that it matches a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית