כתבה
arXiv cs.AI ·
בדיקת התאמה של סטרטגיות XAI: השוואה של ניגודי, ניגודיים ומטריקות מתמטיות
Are explainable AI (XAI) evaluation strategies aligned? Comparing subjective, objective, and mathematical evaluation measures using saliency maps
במחקר זה, נבדקה התאמתן של שלושה סוגי בדיקות: ניגודי, ניגודיים ומטריקות מתמטיות, לשם בדיקת סטרטגיות XAI. התוצאות הראו שכל סוג של בדיקה מוביל למסקנות שונות. המחקר דן בחשיבות השוואה של שלושת הסוגים כדי לבדוק XAI.
תקציר מקורי באנגליתarXiv:2504.17023v2 Announce Type: replace-cross Abstract: The evaluation of explainable AI (XAI) approaches often relies on three families of methods: subjective measures (e.g., questionnaires on trust or satisfaction), objective measures (e.g., task performance metrics), and mathematical metrics (e.g., for faithfulness). Yet, it remains unclear how these families align or diverge in practice. In a{preregistered} between-subjects study (N=166), we use three established saliency map techniques (LIME, Grad-CAM, Guided Backpropagation) as a testbed to examine this issue. We find that each family of methods leads to different conclusions: participants reported no differences in trust or satisfaction, Grad-CAM improved user performance, while mathematical metrics favored Guided Backpropagation.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית