כתבה
arXiv cs.AI ·
טנזוריזציה ככלי לדחיסה ופירוש רשתות נוירונים
Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks
טנזוריזציה היא שיטה לדחיסת רשתות נוירונים. היא מאפשרת ייצוג רשתות באמצעות טנזורים מסדר גבוה. זה מאפשר דחיסה ופירוש טוב יותר של הרשתות. המחקר מציע כיוונים חדשים לשיפור השימוש בטנזוריזציה.
תקציר מקורי באנגליתarXiv:2505.20132v2 Announce Type: replace-cross Abstract: Tensorizing a neural network involves reshaping some or all of its dense weight matrices into higher-order tensors and approximating them using low-rank tensor network decompositions. This technique has shown promise as a model compression strategy for large-scale neural networks. However, despite encouraging empirical results, tensorized neural networks (TNNs) remain underutilized in mainstream deep learning. In this position paper, we offer a perspective on both the potential and current limitations of TNNs. We argue that TNNs represent a powerful yet underexplored framework for deep learning--one that deserves greater attention from both engineering and theoretical communities. Beyond compression, we highlight the value of TNNs a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית