כתבה
arXiv cs.LG ·
בסיסי האלגברה המעריכה: תגלית חדשה באפקט ההתכווצות של rank
Linear Algebra Foundations of Efficient Attention: A Phase Reversal in Rank Collapse Under SVD Compression
מחקר חדש מציג תגלית חדשה באפקט ההתכווצות של rank, שמתאימה למודלי GPT-2 ו-Pythia-160M. המחקר חוקר את השימוש באלגברה לינארית להעברת מידע במודלי GPT-2 ו-Pythia-160M.
תקציר מקורי באנגליתarXiv:2609.06341v1 Announce Type: new Abstract: Linear algebra provides the framework of concepts (matrix rank, singular value decomposition (SVD), and eigendecomposition) that modern artificial intelligence employs to encode, compress, and propagate information through neural networks. This paper unifies fourteen separate peer-reviewed works analyzing the usage of these techniques in the context of transformer-based foundation model research, focusing on three areas of the topic: derivations and properties of self-attention matrices' output rank, compression methods that purposefully utilize this phenomenon, and the low-rank key-value (KV) cache projection and its semiseparable-matrix duality to linear attention and state-space structured models. We were motivated to conduct this work aft
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית