כתבה
arXiv cs.AI ·
כללי למידה עם סימטריה של סימנים הם מעודנים
Sign-Symmetry Learning Rules are Robust Fine-Tuners
חוקרים גילו כי כללי למידה עם סימטריה של סימנים יכולים לשמש כמעודנים יעילים לרשתות נוירונים. הם הדגימו כי גישה זו שומרת על רמת ביצועים דומה לבקרת ביחס לאחור ואף משפרת את העמידות.
תקציר מקורי באנגליתarXiv:2502.05925v2 Announce Type: replace-cross Abstract: Backpropagation (BP) has long been the predominant method for training neural networks due to its effectiveness. However, numerous alternative approaches, broadly categorized under feedback alignment, have been proposed, many of which are motivated by the search for biologically plausible learning mechanisms. Despite their theoretical appeal, these methods have consistently underperformed compared to BP, leading to a decline in research interest. In this work, we revisit the role of such methods and explore how they can be integrated into standard neural network training pipelines. Specifically, we propose fine-tuning BP-pre-trained models using Sign-Symmetry learning rules and demonstrate that this approach not only maintains perfo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית