כתבה
arXiv cs.AI ·
תשומת לב ניגודית מפחיתה הטיה ספקטרלית ב-Transformers מסוג Spiking
Contrastive Attention Mitigates Spectral Bias in Spiking Transformers
Spiking Transformers משלבים בין רשתות עצביות מסוג Spiking לתשומת לב עצמית, יוצרים ארכיטקטורה מבטיחה לחישוב ביצועים גבוהים ואנרגיה יעילה. הוצע פרדיגמה חדשה, Spiking Contrastive Attention, המשפרת מידע בתדר גבוה.
תקציר מקורי באנגליתarXiv:2610.01403v1 Announce Type: new Abstract: Spiking Transformers merge the energy-efficiency of spiking neural networks (SNNs) with the representational power of self-attention, creating a promising architecture for high-performance, energy-efficient computation. However, a performance gap persists versus its counterparts in artificial neural networks (ANNs). Unlike prior works attributing this to binary activations, we reveal that both spiking neurons and spiking self-attention (SSA) act as low-pass filters through multiscale spectral analysis. This characteristic leads to the dissipation of high-frequency components. To address this issue, we propose the Spiking Contrastive Attention (SCA) paradigm, which draw inspiration from the edge-detection and differential sensing properties of
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית