כתבה
arXiv cs.CL ·
אימון מודלים מומחים ללא מסלולי היגיון
Training Specialist Models without Reasoning Trajectories for Domain Expert Distillation
חוקרים פיתחו שיטה לאימון מודלים מומחים ללא מסלולי היגיון. השיטה מאפשרת העברה יעילה של ידע מומחה למודלים סטודנט. המחקר בוחן 27 זוגות של מודלים מומחים וסטודנטים.
תקציר מקורי באנגליתarXiv:2609.13770v1 Announce Type: cross Abstract: Specialist distillation effectively transfers domain expertise to student models via teacher-generated reasoning trajectories. However, when these specialists are trained solely on question--answer pairs without explicit reasoning supervision, what governs the trajectories they generate? In this work, we show that specialist optimization implicitly selects from this latent trajectory space. To isolate and observe this latent distribution, we leverage student distillation not as a downstream goal, but as an agnostic probe---since students inherit no parameterization or optimization constraints from the specialist, inheriting only the sampled trajectories themselves. Through this probe, our empirical analysis unveils a tight governing relatio
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית