כתבה
arXiv cs.LG ·
DomainPilot: אופטימיזציה תלוית דומיין לשיפור יעילות אימון מודלי שפה
DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning
DomainPilot הוא כלי לאופטימיזציה של נתוני אימון למודלי שפה. הוא משתמש באותות דומיין לשיפור יעילות האימון. נבדק על מודל Qwen3-1.7B והשיג שיפורים משמעותיים.
תקציר מקורי באנגליתarXiv:2607.22769v1 Announce Type: new Abstract: The training efficacy of large language models (LLMs) is fundamentally constrained by the quality and composition of training data. Existing dynamic data scheduling methods face critical limitations in industrial-scale pretraining and supervised fine-tuning (SFT): data selection incurs prohibitive O(N) costs on terabyte-scale corpora, mixture optimization schemes introduce severe I/O bottlenecks or require training auxiliary reference models, and sample-level reweighting strategies rely on loss signals that conflate noise, difficulty, and novelty. We present DomainPilot, a domain-level loss-guided two-stage data mixture optimization framework. DomainPilot introduces token-level domain loss monitoring to capture per-domain learning dynamics du
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית