כתבה
arXiv cs.AI ·
ניתוב מודע לשוק עבור הסקה LLM
You Cannot Pick a Provider From the Price List: Market-Aware Routing for Open-Weight LLM Inference
ניתוב מודע לשוק עבור הסקה LLM מאפשר בחירת ספקים מתוך רשימת מחירים. המחקר מראה כי ספקים שונים יכולים לספק איכות, זמן המתנה וזמינות שונים עבור אותו מודל. הפתרון FACET מאפשר ניתוב לספק הזול ביותר שמספק איכות ובריאות תקינות.
תקציר מקורי באנגליתarXiv:2609.37902v1 Announce Type: new Abstract: Existing LLM routers choose among models using static per-model costs. We show that open-weight inference markets introduce a second, largely ignored decision axis: after choosing a model, a client must still choose which provider serves it. Measuring live endpoints across [nummodels] open models, competing providers, multiple task types, and three measurement waves, we find that provider choice cannot be inferred from the price list. The same model can vary sharply in quality, latency, availability, and price across providers; higher-priced providers are consistently faster, but price does not reliably predict quality or availability; and provider feasibility is task-selective, with one deployment nearly normal on knowledge tasks but catastr
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית