כתבה
arXiv cs.LG ·
בחירת LLM: בחירת מודל שפה גדול באופן אקטיבי
Which LLM to pick? Online Active Model Selection for Large Language Models
ONLINE LLM PICKER הוא כלי לבחירת מודל שפה גדול (LLM) באופן אקטיבי. הוא מאפשר לבחור את המודל הטוב ביותר מבין מודלים מועמדים, תוך שימוש בתקציב האנוטציה המוגבל. הכלי מוכיח עצמו כיעיל בחיסכון של עד 71.67% בעלות האנוטציה.
תקציר מקורי באנגליתarXiv:2610.01592v1 Announce Type: cross Abstract: Large Language Models (LLMs) are increasingly applied to process streaming data, with practitioners relying on benchmarks to select the best model even though these signals only approximate real performance. While oracle annotations can provide reliable feedback, they are often costly and difficult to obtain at scale. To address this challenge, we propose ONLINE LLM PICKER, the first framework for active model selection for LLMs in online settings. Given an arbitrary stream of queries and a limited annotation budget, ONLINE LLM PICKER selects the most informative prompts for annotation to identify the best LLM among candidate models. Across multiple tasks including 10 datasets, for over 130 language models, we show that ONLINE LLM PICKER sa
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית