כתבה
arXiv cs.LG ·
איחוד של דגמי כללי: Mixture-Trained Merging
Mixture-Trained Merging for Unified Multi-Objective Models
דגמי כללי מאוחדים כישורים שונים באמצעות Mixture-Trained Merging. המאמר מציג פרוצדורה לאיחוד של דגמי כללי, המאפשרת קיבוץ של כישורים שונים, כגון חישוב, קוד, עקיבה ושליטה בהתנהגות. הפרוצדורה, הנקראת Mixture-Trained Merging (MTM), מכשירה כלי חדש לאיחוד של דגמי כללי, המאפשרת קיבוץ של כישורים שונים באופן יעיל ומוצלח.
תקציר מקורי באנגליתarXiv:2610.01238v1 Announce Type: new Abstract: Unified language models are increasingly expected to combine heterogeneous capabilities, such as mathematics, code, instruction following, and controllable thinking behavior, within a single set of parameters. A common solution is sequential post-training on multiple objectives, but this entangles all objectives along one optimization trajectory and makes the final model highly sensitive to training order, data ratios, schedules, and stopping criteria. Weight-space merging offers a modular alternative, but naive merging of single-objective experts often fails: domain capabilities degrade sharply, or think/non-think modes collapse into one dominant behavior. We attribute both failures to incompatible weight-space geometry: experts trained on s
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית