כתבה
arXiv cs.LG ·
בדיקות הוגנות נגדיות של סוכנים רפואיים
Counterfactual Fairness Audits of Multi-Step Clinical LLM Agents Require a Measured Per-Action Instability Floor
בדיקות הוגנות נגדיות של סוכנים רפואיים מבוססי LLM דורשות רמת אי-יציבות מדודה. המחקר מראה כי קצב ה'פליפ' של פעולות הסוכן אינו מידתי. ניסויים חוזרים הראו כי 8.7% מהפעולות השתנו ללא סיבה מובהקת.
תקציר מקורי באנגליתarXiv:2609.03221v2 Announce Type: replace-cross Abstract: Counterfactual audits are the standard tool for checking whether a clinical agent treats demographically distinct but clinically identical patients differently. They report a flip rate: how often an action changes when only the patient descriptor changes. We show that this quantity is uninterpretable on its own. Re-running an identical condition ten times over sixteen vignettes (same narrative, same descriptor string, nothing varied) moved a clinical agent's action in 8.7% of outcome-vignette cells, and instability was heterogeneous across actions by a factor of eight, from 0.022 for ICU escalation to 0.179 for controlled-substance caution. No demographic contrast in our data was distinguishable from that floor. A second model gives
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית