כתבה
arXiv cs.AI ·
MOPD-Router: חידוש בשיטת ההעברה של תלמידים במסגרת תרגום משולב
MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation
MOPD-Router: שיטה חדשה להעברת תלמידים במסגרת תרגום משולב. השיטה מאפשרת ניהול תלמידים עם גישה לכל המורים, ומשפרת את הביצועים בכל שלושת הסצנריות שנבדקו. השיטה נכתבה בשימוש ב-GPT-5 ו-LangGraph.
תקציר מקורי באנגליתarXiv:2609.30837v2 Announce Type: cross Abstract: Multi-teacher on-policy distillation (MOPD) integrates specialized capabilities into a single student, but existing practice typically hard-routes each prompt to a domain-matched teacher for the entire rollout. This dependence on prompt-level domain labels restricts using unlabeled training mixtures and leaves complementary signals from other teachers unused. We introduce MOPD-Router, a framework that routes supervision over the full teacher pool at each token, without domain labels or training a separate routing model. Its plug-in interface supports different metrics for selecting and weighting teacher-specific OPD signals. Within this interface, we propose ExpertAlign, which scores each teacher by whether its correction to the student at
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית