כתבה
arXiv cs.AI ·
אופטימיזציה של Layer Sparsity לאימון ואינפרנס יעילים של LLM
Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference
חוקרים מצאו כי שימוש ב-Layer Dropout משפר את יעילות האימון והאינפרנס של מודלי LLM. המחקר הראה כי עם הפצה אופטימלית של Layer Dropout, ניתן לחסוך עד 25% מ-FLOPs באימון ולהשיג מהירות אינפרנס משופרת עד 1.5 פעמים. הניסויים בוצעו על מודלים בגדלים שונים, מ-271M עד 8.2B פרמטרים, ועל מערכי נתונים עד 160B טוקנים.
תקציר מקורי באנגליתarXiv:2609.05275v1 Announce Type: new Abstract: Layer dropout (a.k.a. stochastic depth) has been shown to enable faster training, higher accuracy, and robustness to zero-shot layer pruning in both language and vision transformers. However, as models and datasets have scaled, dropout - particularly layer dropout - has largely disappeared from large language models (LLMs) pre-training recipes. While some prior work has reported that dropout can degrade accuracy, no comprehensive study has quantified, let alone mitigated, this effect. In this study, we show that layer dropout should be used in state-of-the-art LLM training, establishing best practices and scaling analysis for both training and post-training benefits. Concretely, with optimal layer distribution, time schedule, and optimizer hy
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית