כתבה
arXiv cs.AI ·
הכרחי או די? בדיקת הסברי LLM עם ראיות התנהגותיות
Necessary or Sufficient? Evaluating LLM Explanations With Behavioural Evidence
במאמר זה, נבדקו שני פרשנויות לגבי הסברי LLM: הכרחיות ודיוקניות. נבדקו שמונה מודלים ממשפחות Claude, GPT ו-Gemini.
תקציר מקורי באנגליתarXiv:2609.05385v1 Announce Type: new Abstract: LLM decision components that can operate within agent workflows often produce action-relevant recommendations or judgements together with explanations. Operators may use the named factors to monitor a system, diagnose errors, or decide when to escalate an output. Such use assumes that the explanations agree with the component's observable decision behaviour. We test two interpretations of the named factors: necessity, meaning that changing a factor would change the output, and sufficiency, meaning that retaining it while removing other changeable information would preserve the output. We evaluate these interpretations in two synthetic use cases: recommending advisors to clients and judging prompts for harmfulness or risk. Models return an out
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית