כתבה
arXiv cs.CL ·
בנצ'מרק לקריאת כלים רב-שלבית ב-APIs ציבוריים פתוחים
Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe
EDGE הוא גרף דינמי לסינתזת נתונים לקריאת כלים, המשלב קריאות רב-שלביות ל-APIs ציבוריים פתוחים. המודל החדש משפר את הביצועים על בנצ'מרק KOPA-Bench ו-BFCL.
תקציר מקורי באנגליתarXiv:2609.05395v1 Announce Type: cross Abstract: Data-sovereignty regulations increasingly require public institutions to deploy open-source, on-premise LLM agents that chain multiple tool-calls across live government APIs. However, open-source models consistently underperform in this multi-step setting, and no existing benchmark measures the gap. We introduce the Korean Open Public API Benchmark (KOPA-Bench), comprising 145 real-world tasks. To close this gap, we present EDGE, an Execution-grounded Dynamic Graph for tool-calling data synthEsis driven by live execution. EDGE builds a graph of how each tool's output can feed another's input, keeps only the links that succeed when actually called against the live APIs, and traverses these verified links to synthesize executable multi-step t
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית