כתבה
arXiv cs.AI ·
BudgetSchemaBench: אבחון להקצאת תקציב להקשר מידעני
BudgetSchemaBench: A Budget-Swept Diagnostic for Schema Context in Text-to-SQL
BudgetSchemaBench הוא אבחון להקצאת תקציב להקשר מידעני במודלים Text-to-SQL. הוא בודק את היכולת להתאים מודלים למסדי נתונים גדולים. האבחון משווה בין שלוש ייצוגים שונים ומראה שהדיוק משתפר עם עלייה בתקציב.
תקציר מקורי באנגליתarXiv:2610.00092v1 Announce Type: cross Abstract: Data agents over structured sources must fit database schema into the model's context window. Large catalogs can span many databases and thousands of columns, so cost constraints may require choosing between table coverage and serialization detail well before the context window is full. We introduce BudgetSchemaBench, an execution-grounded diagnostic for this setting. Its construction derives relevance labels mechanically from gold SQL, without human- or LLM-authored ground truth. Using a pooled 80-database catalog, we sweep four schema-context budgets and compare three representations while keeping each retriever's table ranking fixed. A source-namespace check rejects queries that obtain the correct result from the wrong database. The eval
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית