כתבה
arXiv cs.AI ·
PBT-Bench: בניית סטנדרט לבדיקת תכונות של סוכני AI
PBT-Bench: Benchmarking AI Agents on Property-Based Testing
בניית סטנדרט לבדיקת תכונות של סוכני AI. המאמר מציג סטנדרט לבדיקת תכונות של סוכני AI, כולל תרגילים ובדיקות.
תקציר מקורי באנגליתarXiv:2605.15229v4 Announce Type: replace-cross Abstract: Existing code benchmarks measure whether an agent can produce any test that reproduces a known bug, or whether it can produce a patch that fixes a described issue. Neither isolates the distinct skill of property-based testing: deriving a semantic invariant from documentation, and then constructing an input-generation strategy precise enough to make a random search reveal the violation. We introduce PBT-Bench, a benchmark of 100 curated property-based testing problems across 40 real Python libraries. Each problem injects one or more semantic bugs (365 in total, mean 3.65 per problem) designed so that default-strategy random inputs almost never trigger them; the agent must read the library's documentation, identify the relevant invari
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית