כתבה
arXiv cs.CL ·
חשבון אחד אינו נאמן: Thinkingbox, סביבת ניסוי ובסיס תצוגה לאג'נטים בזרימת עבודה עסקית
One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
Thinkingbox, סביבת ניסוי ובסיס תצוגה לאג'נטים בזרימת עבודה עסקית, חשפה פער גדול בין הצלחה חד-פעמית לבין סיום אמין של תפקודים. המחקר, שפורסם ב-arXiv, מציג סביבת ניסוי ובסיס תצוגה של 507 תפקודים עסקיים, כולל רכישות, שירותי הגשת תפקידים, ביטוח רכב, ועוד.
תקציר מקורי באנגליתarXiv:2608.19741v4 Announce Type: replace Abstract: Recent agent benchmarks increasingly ground evaluation in executable environments, from code repair to web navigation, app APIs, and function calling. Yet completing consequential work beyond code requires more than producing a plausible response or valid tool call: agents must gather missing information over multiple turns, follow domain policies, coordinate dependent tools, and realize the correct persistent state transition without collateral effects. In this paper, we introduce Thinkingbox, a sandbox for tool-agent-user interaction that provides isolated MCP-compatible tool sessions, complete execution traces, and outcome evaluation over terminal backend state. Built on this sandbox, Thinkingbox-bench contains 507 policy-conditioned w
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית