יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

תיבת חשיבה: סביבת ניסוי לסוכנים בתהליכי עסקים

One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
Thinkingbox היא סביבת ניסוי לסוכנים המאפשרת בדיקת תהליכי עסקים מורכבים. המחקר מראה כי אפילו מודלים חזקים כמו Claude מראים ירידה חדה באמינות בתהליכים ארוכים.
תקציר מקורי באנגליתarXiv:2608.19741v3 Announce Type: replace Abstract: Recent agent benchmarks increasingly ground evaluation in executable environments, from code repair to web navigation, app APIs, and function calling. Yet completing consequential work beyond code requires more than producing a plausible response or valid tool call: agents must gather missing information over multiple turns, follow domain policies, coordinate dependent tools, and realize the correct persistent state transition without collateral effects. In this paper, we introduce Thinkingbox, a sandbox for tool-agent-user interaction that provides isolated MCP-compatible tool sessions, complete execution traces, and outcome evaluation over terminal backend state. Built on this sandbox, Thinkingbox-bench contains 507 policy-conditioned w
קרא במקור המקורי