כתבה
arXiv cs.CL ·
אם סוכני טרמינל יכולים לבטוח באימות עצמי?
Can Terminal Agents Trust Their Own Verification? Diagnosing and Improving Self-Verification
בחינה שיטתית של יכולת האימות העצמי של סוכני טרמינל. נמצא כי החיבור לאימות נכון, אך רק 61.43% של חוברנים שגויים נכבדים ו-49.36% של טעויות שנכבדו נתקבלו.
תקציר מקורי באנגליתarXiv:2609.38812v1 Announce Type: new Abstract: Terminal agents rely on self-verification to assess and correct their solutions as they solve tasks through interaction with command-line environments. Yet how trustworthy such self-verification is remains poorly understood. To investigate this question systematically, we introduce a diagnostic framework that identifies the first complete solution in each trajectory, determines whether it is objectively correct, and uses this ground truth to quantify the agent's subsequent verification and recovery behavior. Applying it to ten terminal agents on TerminalBench2.1, we find that verification is nearly universal after a complete candidate is formed, yet only 61.43\% of incorrect candidates are detected and only 49.36\% of detected errors are succ
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית