כתבה
arXiv cs.LG ·
אופרטורים תת-ריבועיים ילידים רב-ממדיים
Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions
חוקרים פיתחו אופרטור תת-ריבועי ילידי רב-ממדי, HyenaND, המאפשר פעולה ישירה על נתונים רב-ממדיים. האופרטור משלב קרנלים קונבולוציוניים גלובליים ותלויי-קלט. היישום מוכיח דיוק דומה לבסיסי אטנציה חזקים.
תקציר מקורי באנגליתarXiv:2607.19378v1 Announce Type: new Abstract: Subquadratic alternatives to attention require compromises when applied to multi-dimensional data: standard convolutions lack global receptive fields and input dependency, while recurrent models require rasterizing data such as images, volumes, and partial differential equation (PDE) into an ad-hoc $1\rm D$ scan order that violates their spatial structure. We introduce \textit{HyenaND}, a subquadratic, global, input-dependent operator that acts directly on the native geometry of multidimensional data through convolutions with implicitly parametrized global, input-dependent multi-dimensional convolutional kernels. Our CUDA implementation, \texttt{nSubQ}, fuses the FFT-convolution path to turn HyenaND's $\mathcal{O}(L \log L)$ scaling into wall
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית