כתבה
arXiv cs.LG ·
מתוצאות ספורדיות להפצה של יכולות: חשיבה מחדש של ניהול הסקירה לשליחת LLM
From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing
אנו מציגים פתרון חדש לבעיית הסקירה לשליחת LLM, המבוסס על הערכת היכולות של המודל ברמה של תבניות חיפוש. הפתרון, הנקרא DARS, משתמש בטכניקות של חיפוש והערכת סיכויים כדי להעריך את היכולות של המודל. התוצאות המוצגות במאמר תומכות בעוצמתו של DARS בשיפור היציבות והדיוק של השליחה.
תקציר מקורי באנגליתarXiv:2606.06924v2 Announce Type: replace Abstract: Existing LLM routing methods often construct supervision from a single sampled response for each query--model pair. Because LLM generation is stochastic, however, such an observation can be an unstable estimate of model capability: semantically equivalent query formulations and repeated decoding may yield different scores and even different model preferences. We show that this instability can further propagate from routing labels to learned routing policies. To address this issue, we propose DARS (Distribution-Aware Routing Supervision), which estimates query-level model capability from repeated observations spanning semantics-preserving query rewrites and stochastic decoding. DARS summarizes expected quality, expected cost, and performan
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית