כתבה
arXiv cs.AI ·
בריחה מתקרת הקיבולת: ניתוב ב-Stiefel Manifold לשכבות SPD ביליניאריות
Escaping the Capacity Ceiling: Routing on the Stiefel Manifold for Bilinear SPD Layers
SCAP הוא שכבה חדשה לרשתות עמוקות על מניפולד SPD, המאפשרת ייצוגים בעלי קיבולת גבוהה יותר. השכבה משתמשת ב-Stiefel Cross-Attention Pool, המשלבת מומחים רבים ליצירת מפה ביליניארית מותאמת לדוגמה. SCAP מראה שיפור משמעותי בדיוק מאוזן על נתוני EEG מוטור-אימג'רי.
תקציר מקורי באנגליתarXiv:2605.31043v2 Announce Type: replace-cross Abstract: Deep networks on the symmetric positive-definite (SPD) manifold promise expressive representations by encoding data geometry as an inductive bias, but stacking BiMap layers with the standard ReEig nonlinearity often adds no capacity: on real, preconditioned EEG data, ReEig rarely activates, so the stack behaves as a single layer at any depth. In the worst case, when domains share no discriminative directions, we prove a single filter has a capacity ceiling, so it cannot fully align every domain at once. To overcome that, we propose SCAP (Stiefel Cross-Attention Pool), a layer implementing a family of Stiefel filters by combining a pool of $K$ experts into a sample-specific bilinear map via cross-attention. We show that it matches a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית