כתבה
arXiv cs.AI ·
NAQD Env: סביבת בדיקה להסרה בחירום בסוכני שפה
NAQD Env: A benchmark for selective withdrawal in language agents
סביבת בדיקה להסרה בחירום בסוכני שפה. נבחנו שלושה מודלי הוראה פתוח-משקל, והתקבלו תוצאות שונות. המחקר מעודד את בדיקת הסרה בחירום כמרכיב נפרד ביישומי סוכני שפה.
תקציר מקורי באנגליתarXiv:2609.38460v1 Announce Type: new Abstract: Language agents must revise planned actions when evidence changes, permission is revoked, or a stop instruction arrives. A useful response is selective: suspend affected actions, preserve unaffected work, and resume only after sufficient repair. We introduce NAQD-Env, a synthetic environment that evaluates these decisions against a deterministic reference policy over explicit evidence, authorization, and constraint dependencies. Eleven dependency families support evaluation on development structures, held-out families, and held-out combinations of structures. Metrics distinguish attempted violations from violations permitted by a simulated execution gate and jointly report policy agreement, task value, withdrawal, resumption, and event report
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית