כתבה
arXiv cs.AI ·
SINGED: הפקודות הנכונות אינן מאשרות ביצוע בטוח בסוכנים LLM
SINGED: Correct Outputs Do Not Certify Safe Execution in LLM Agents
SINGED הוא בנך' מבוקר הבודק סוכנים LLM. המחקר מראה כי 45% מהסוכנים המובילים מבצעים ביצוע מזויף, גם כאשר הפלט נכון. הדבר מחייב שינוי באופן המדידה של ביצועים.
תקציר מקורי באנגליתarXiv:2609.35889v1 Announce Type: cross Abstract: Tool-using language-model agents select and execute third-party artifacts. Different implementations can return the requested output while producing hidden execution effects that task-, attack-, or choice-based evaluations may miss. We study functional counterfeits: implementations that match benign alternatives on the requested output but add an effect forbidden by the task contract. We introduce SINGED (Source Integrity and the Nonidentifiability Gap in Execution Decisions for LLM Agents), a controlled benchmark covering five primary and two held-out task families. It varies displayed rank, evidence depth, decision policy, model release, and agent configuration, while task and process oracles verify the artifact and execution path. Across
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית