כתבה
arXiv cs.CL ·
הכוונת סביבה: שיפור ביטחון ותועלת של סוכנים
Environment Steering: Using Data Flow Control to Improve Agent Utility and Safety
ניתן לשפר את הביטחון והתועלת של סוכנים באמצעות הכוונת סביבה. שיטה זו מאפשרת לסוכנים להימנע מפעולות לא בטוחות ולנווט לכיוונים בטוחים יותר. המחקר מציג יישום מעשי של שיטה זו בסביבת AgentDyn.
תקציר מקורי באנגליתarXiv:2609.35807v1 Announce Type: new Abstract: LLM agents can make unsafe tool calls even when instructed to behave safely. Existing defenses constrain agents before execution, modify tool inputs/outputs, or rely on LLM judges; these approaches may depend on model behavior or block unsafe actions without helping the agent recover. We argue that the execution environment should instead enforce safety as the agent runs and steer it toward safe alternatives when violations occur---we call this Environment Steering. We implement this by modeling the agent and harness execution state as database tables, track the record-level data flows, and check these data flows against declarative policies during runtime. When violations are detected, policy- and context-specific feedback steers the agent t
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית