כתבה
arXiv cs.AI ·
DeFA: חידוש באטריבוציה של כשלי LLM
DeFA: Dependency-Guided Failure Attribution for LLM Agents
DeFA היא תוכנה שמסוגלת לזהות כשלי LLM ולסווג אותם. היא עושה זאת באמצעות גרף של תלותיות, שמאפשר לה לזהות את הכשל המכריע. DeFA גם יכולה להשתמש בגרף זה כדי לסווג את הכשל לפי סוגו.
תקציר מקורי באנגליתarXiv:2610.01256v1 Announce Type: new Abstract: Errors in LLM agent executions and their visible consequences can be separated by many steps, making decisive-error localization a matter of understanding both step content and step dependencies. We introduce DeFA, a dependency-guided framework for agent failure attribution. DeFA first combines protocol relations and semantic dependencies into an event dependency graph spanning the trajectory. It then identifies events that may violate task requirements and traces their sources and subsequent effects to construct a failure propagation graph. Finally, DeFA uses step evidence and the steps' roles in failure propagation to identify the decisive error, responsible agent, and error category. To support long trajectories, DeFA partitions executions
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית