כתבה
arXiv cs.LG ·
שכבת דומיננטיות רכה לחישוב עצבי
Beyond Affine Transformations: A Soft Dominance Layer for Coordinate-Wise Neural Computation
חוקרים מציעים שכבת דומיננטיות רכה כאלטרנטיבה לטרנספורמציה האפינית המסורתית. השכבה החדשה משוואת קואורדינטות קלט עם וקטור הפניה ומגיבה באופן רך. המחקר מראה תוצאות מבטיחות, אך דרושים ניסויים נוספים.
תקציר מקורי באנגליתarXiv:2610.00563v1 Announce Type: new Abstract: This paper presents a preliminary study of an alternative to the affine transformation underlying conventional neural-network layers. In the proposed Soft Dominance Layer, each output unit compares input coordinates with a learnable reference vector and aggregates smooth inequality responses. A sigmoid relaxation makes the comparisons differentiable, while a sharpness parameter $\alpha$ controls their transition toward hard threshold decisions. The aim is to examine the trainability and direct threshold interpretation of this primitive, not to claim a replacement for affine layers. In single-run MNIST experiments, the highest observed Soft Dominance accuracy is $0.9061$ without annealing and $0.9173$ with annealing, compared with $0.9827$ for
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית