כתבה
arXiv cs.LG ·
הגדרת תורן קבוע לאנכורינג נשארי
Persistent Teacher Anchoring for Tool-Using Agents
הצעת Persistent Teacher Anchoring (PTA) משפרת את macro best@4 ב-2.5 ו-2.8 נקודות מעל OPKD. PTA משתמשת בהגדרת תורן קבוע, המאפשרת למודל לבדוק ולאשר כל צעד, ולאחר מכן לבצע אותו. זה נעשה על ידי טיפול בקטעי טקסט כיחידות גנרציה, ואז על ידי ראית קבועה, המתקדמת בעתיד וממשיכה את הקטעים הלא-סיימד.
תקציר מקורי באנגליתarXiv:2609.04773v1 Announce Type: new Abstract: Distillation is common in LLM post-training, where on-policy knowledge distillation (OPKD) uses student-generated trajectories to prepare the student for downstream RL. At each state, the student matches a next-token distribution supplied by the teacher. As the rollout enters states the teacher would not visit, the teacher-student distribution gap can accumulate. In tool use, this gap becomes consequential because student-written calls execute before supervision and their observations shape later prefixes. Proposer-verifier generation addresses this drift by letting the teacher decide which student-proposed text is retained during generation. Existing formulations govern text but leave tool execution outside their scope. We propose Persistent
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית