כתבה
arXiv cs.AI ·
הדילוסטרציה של מורה על ידי תלמיד לצורך רוטציה יעילה של LLM למשימות
Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers
במאמר זה, נחקרה שיטה לרוטציה יעילה של LLM למשימות, על ידי שימוש בדילוסטרציה של מורה על ידי תלמיד. השיטה משתמשת במודל ModernBERT לצורך ריצוי קצר של קטגוריות, ואחר כך משתמשת במודל DeBERTa-v3 לריצוי רקטיפיקציה של התוצאות. השיטה הוכיחה עצמה כיעילה ויעילה, והציגה תוצאות טובות בהשוואה לשיטות אחרות.
תקציר מקורי באנגליתarXiv:2610.02516v1 Announce Type: cross Abstract: Zero-shot classifiers are useful for routing user requests to specialized LLM tasks, but scoring every request against a large candidate set is expensive: a zero-shot NLI classifier must evaluate one premise-hypothesis pair per label, so cost scales linearly with taxonomy size. We study a student-guided teacher distillation pipeline for a fixed taxonomy of 60 LLM task categories: a compact ModernBERT classifier predicts the full category distribution in one forward pass and retrieves a small top-k candidate set, and a larger DeBERTa-v3 zero-shot NLI classifier reranks only those candidates rather than all 60 labels; the resulting teacher labels iteratively improve the student, which produces sharper candidates for the next round. Unlike gen
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית