כתבה
arXiv cs.LG ·
הצפנה של מורה לתלמיד: פיתוח יעיל של רשימת קריטריונים ל-LLM
Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers
במאמר זה, המחברים מציגים פיתוח יעיל של רשימת קריטריונים ל-LLM, המבוסס על תהליך של הצפנה של מורה לתלמיד. השיטה, הנקראת Student-Guided Teacher Distillation, משתמשת במודל ModernBERT כדי לסגור רשימת קריטריונים קצרה של קריטריונים, ואז משתמשת במודל DeBERTa-v3 כדי לדרג את הקריטריונים ברשימה. המחברים מציגים תוצאות טובות של השיטה, כולל תיקון של 77.5% עם רשימת קריטריונים של 200 דוגמאות.
תקציר מקורי באנגליתarXiv:2610.02516v1 Announce Type: new Abstract: Zero-shot classifiers are useful for routing user requests to specialized LLM tasks, but scoring every request against a large candidate set is expensive: a zero-shot NLI classifier must evaluate one premise-hypothesis pair per label, so cost scales linearly with taxonomy size. We study a student-guided teacher distillation pipeline for a fixed taxonomy of 60 LLM task categories: a compact ModernBERT classifier predicts the full category distribution in one forward pass and retrieves a small top-k candidate set, and a larger DeBERTa-v3 zero-shot NLI classifier reranks only those candidates rather than all 60 labels; the resulting teacher labels iteratively improve the student, which produces sharper candidates for the next round. Unlike gener
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית