כתבה
arXiv cs.AI ·
Incident-Arena: אמינות סוכנים
Incident-Arena: Getting agents to the last nine of reliability
Incident-Arena הוא בנק אמתיות לבחינת סוכנים AI בתחום הנדסת אמינות אתרים. הוא כולל 20 משימות מבוססות תוכנה פתוחה. המחקר בודק את יכולתם של סוכנים AI לתקן תקלות ביישומים.
תקציר מקורי באנגליתarXiv:2610.00648v1 Announce Type: new Abstract: AI coding agents are ubiquitous in engineering workflows amongst industry and academia. Yet, despite their use in app coding, relatively less attention has been paid to their ability to execute on production incident response. This emerging field, termed agentic site-reliability-engineering (SRE) contains benchmarks limited by (1) unrealistic environments, typically toy repositories (2) non-standard framework implementations and (3) simple static verifiers. We introduce Incident-Arena, a human-built benchmark of 20 carefully selected tasks grounded in real-world deployed open source software. Each task deploys a production application to an ephemeral Kubernetes cluster, injecting a fault from the config layer through underlying images, and a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית