כתבה
arXiv cs.LG ·
OpenMTB-Audit: חשיפה של סירוב-מעבר ודעות רפואיות בבדיקת אבטחה של LLM במועצות גנטיות לטיפול בסרטן
OpenMTB-Audit: Exposing Over-Refusal and Clinical Expert Perspectives in LLM-Based Molecular Tumor Board Safety Evaluation
במאמר זה נחשפה תופעת סירוב-מעבר בבדיקת אבטחה של LLM במועצות גנטיות לטיפול בסרטן. המחברים הציגו תצוגה חדשה של 500 מקרים סינתטיים של סרטן ריאות גדולות, שכוללת חמש קטגוריות של שגיאות וארבע תוויות של אבטחה. הם גילו שכל המודלים של LLM נכשלו בשימור תווית חלקית ב-83.3-100% מהמקרים האמיתיים של תווית חלקית. כדי לפתור את הבעיה, המחברים פיתחו MTB-AuditAgent, פלטפורמה שבודקת את הנתונים ומסווגת את הבטיחות.
תקציר מקורי באנגליתarXiv:2610.01497v1 Announce Type: cross Abstract: Molecular tumor boards integrate genomic findings, clinical context, and therapeutic evidence to support precision oncology. As AI enters this workflow, a key safety challenge is distinguishing truly unsupported recommendations from evidence-supported options that still require oncologist review because of incomplete information, poor ECOG performance status, or other clinical caveats. We introduce OpenMTB-Audit, an open-source benchmark of 500 synthetic non-small cell lung cancer cases spanning five adversarial error categories and four safety labels: Supported, Partially Supported, Unsupported, and Insufficient Information. Across eight large language model configurations, we identify pervasive over-refusal: all LLM configurations failed
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית