כתבה
arXiv cs.AI ·
LPS-Bench: בדיקת בטיחות לסוכנים
LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios
LPS-Bench הוא בנץ'מרק לבדיקת בטיחות של סוכנים ממוחשבים. הוא בודק יכולתם לקבל החלטות בטוחות בתרחישים שונים, כולל תרחישים עוינים. LPS-Bench כולל 570 מקרים שונים, והוא משתמש במודל LLM כדי לבדוק את התוצאות.
תקציר מקורי באנגליתarXiv:2602.03255v2 Announce Type: replace Abstract: Computer-use agents (CUAs) execute multi-stage tasks through tools, where an early unsafe decision can propagate to consequential actions. Evaluating only final outcomes can miss such decisions, while constructing executable environments for new tasks can make benchmark expansion costly. We present LPS-Bench, a benchmark of long-horizon planning safety in MCP-style tool workflows under benign requests and adversarial steering. A template-guided multi-agent pipeline generates user instructions, simulated toolkits, and case-specific safety criteria, followed by human review. This design supports scalable case expansion without building a separate application environment for every test case. LPS-Bench comprises 570 cases derived from 65 scen
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית