כתבה
arXiv cs.LG ·
גילוי מחדש: חשיבותם של אלמנטים קנוניים לדלילות LLM קיצונית
Hidden in Plain Sight: The Overlooked Significance of Canonical Elements for Extreme LLM Sparsity
מחקר חדש מראה כי מודלי LLM יכולים לשמור על ביצועים חזקים גם בדלילות קיצונית. המחקר בדק את המודלים LLaMA-2 ו-Qwen-3 ומצא שהם יכולים להגיע לדלילות של 99% מבלי לאבד ביצועים.
תקציר מקורי באנגליתarXiv:2609.06557v1 Announce Type: new Abstract: Large language models (LLMs) are often considered fragile under aggressive sparsification, and maintaining reliable performance typically requires sticking to moderate sparsity levels. However, recent studies suggest that LLMs are more resilient to high sparsity than previously thought, reframing the problem as a design challenge rather than a fundamental limitation. In this work, we challenge the perceived limits of unstructured post-training LLM pruning by revisiting elementary pruning strategies that have remained relatively underexplored at this scale. Through a progressive sparsification framework with second-order saliency and continued training coordinated with sparsity progression, we show that pretrained LLMs can retain strong perfor
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית