כתבה
arXiv cs.LG ·
3BASiL: פלטפורמה אלגוריתמית להקטנת גודל של LLMs
3BASiL: An Algorithmic Framework for Sparse plus Low-Rank Compression of LLMs
3BASiL-TM היא שיטה חדשה להקטנת גודל של LLMs, המשתמשת בפלטפורמה אלגוריתמית חדשה. השיטה כוללת שלושה שלבים: פיצול נוזלי, פיצול נמוך-דרגה והתאמה של טרנספורמר. 3BASiL-TM מציעה פיצול טוב יותר של LLMs, כ-30% פחות תקשורת ו-2.5x יותר מהיר. השיטה נכתבה בפייתון ומופצת תחת רישיון MIT.
תקציר מקורי באנגליתarXiv:2603.01376v2 Announce Type: replace Abstract: Sparse plus Low-Rank $(\mathbf{S} + \mathbf{LR})$ decomposition of Large Language Models (LLMs) has emerged as a promising direction in model compression, aiming to decompose pre-trained model weights into a sum of sparse and low-rank matrices $(\mathbf{W} \approx \mathbf{S} + \mathbf{LR})$. Despite recent progress, existing methods often suffer from substantial performance degradation compared to dense models. In this work, we introduce 3BASiL-TM, an efficient one-shot post-training method for $(\mathbf{S} + \mathbf{LR})$ decomposition of LLMs that addresses this gap. Our approach first introduces a novel 3-Block Alternating Direction Method of Multipliers (ADMM) method, termed 3BASiL, to minimize the layer-wise reconstruction error with
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית