כתבה
arXiv cs.AI ·
שליטה בסביבה: שימוש בבקרת זרימת נתונים לשיפור יעילות ובטיחות סוכנים
Environment Steering: Using Data Flow Control to Improve Agent Utility and Safety
אנו מציגים טכניקה חדשה לשיפור יעילות ובטיחות סוכנים, הנקראת שליטה בסביבה. השיטה כוללת בקרת זרימת נתונים ופידבק ספציפי לפוליטיקה ולתפריט נתונים. המחקר מדגים את השיטה על AgentDyn ומציג תוצאות טובות בהשוואה ללא הגנה.
תקציר מקורי באנגליתarXiv:2609.35807v1 Announce Type: cross Abstract: LLM agents can make unsafe tool calls even when instructed to behave safely. Existing defenses constrain agents before execution, modify tool inputs/outputs, or rely on LLM judges; these approaches may depend on model behavior or block unsafe actions without helping the agent recover. We argue that the execution environment should instead enforce safety as the agent runs and steer it toward safe alternatives when violations occur---we call this Environment Steering. We implement this by modeling the agent and harness execution state as database tables, track the record-level data flows, and check these data flows against declarative policies during runtime. When violations are detected, policy- and context-specific feedback steers the agent
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית