כתבה
arXiv cs.LG ·
קבוצתיות יעילה עם גדרי תקינה למערכות ממליצות LLM בסקאלה של תעשייה
Efficient Clustering with Quality Guardrails for LLM-based Recommender Systems at Industry Scale
אלגוריתם קבוצתיות יעיל, המספק גדרי תקינה, למערכות ממליצות LLM בסקאלה של תעשייה. האלגוריתם נבחן בהצלחה במערכת ממליצות ראשונית, והציג יתרונות של 50 פעמים בקצב ריצה ועלות.
תקציר מקורי באנגליתarXiv:2607.19704v2 Announce Type: replace Abstract: LLMs can be prohibitively expensive and slow to run at scale, especially for applications that invoke an LLM per sample over millions of inputs. A natural way to scale is to cluster the inputs, run the LLM only on cluster representatives, and propagate the outputs to other cluster members. However, the outputs a member receives are only as good as its match to the representative. Off-the-shelf clustering methods optimize an aggregate objective, targeting average-case quality without per-sample guardrails. As a result, members can be assigned to poorly-matched representatives, and the inherited outputs -- though appropriate for the representative -- may be irrelevant or even unsafe for the member. For example, a parent of a toddler grouped
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית