כתבה
arXiv cs.AI ·
KlinikeBench: בדיקת דגמי שפה מעבר לדיוק רפואי
KlinikeBench: Evaluating Language Models Beyond Diagnostic Accuracy
בדיקת דגמי שפה מעבר לדיוק רפואי בסביבות קליניות. המחקר עוסק בבדיקת דגמי שפה בסביבות קליניות, כולל דגמי שפה כמו GPT-6-astra ו-Claude Opus 5.
תקציר מקורי באנגליתarXiv:2609.38480v2 Announce Type: replace-cross Abstract: Most clinical benchmarks evaluate language models (LMs) on diagnosis using complete case descriptions. In clinical practice, however, patients present information in different ways, and clinicians must obtain relevant history and determine which examinations are needed before reaching a diagnosis. Diagnostic accuracy alone therefore cannot establish whether an agent gathered essential information or conducted an appropriate clinical assessment. Furthermore, existing benchmarks lack professional clinicians' verification. To address this gap, we introduce KlinikeBench, a benchmark of 333 clinician-authored tasks, each providing an isolated sandbox environment with a virtual patient, clinical tools, and task-specific success criteria.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית