כתבה
arXiv cs.CL ·
היכן נכשל הערכת עובדות מבוססת שאילתا?
Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification
חוקרים בדקו היכן נכשלת הערכת עובדות מבוססת שאילתא בהקשרים רפואיים. הם מצאו שהגדלת גודל המודל, הוספת מאמץ תהליכי ושימוש במקורות רשמיים לא פותרים את הבעיות. המחקר משתמש במודל LLM כדי לאתר שגיאות בתהליך האימות.
תקציר מקורי באנגליתarXiv:2609.30467v1 Announce Type: new Abstract: Retrieval-based factuality evaluation, where LLM-generated claims are verified against evidence from authoritative medical corpora, has become the dominant paradigm for scalable hallucination detection in high-stakes clinical settings. Despite the urgency of reliable and transparent medical fact verification, most systems measure performance with aggregate metrics like F1, which obscure where and why failures occur. Existing RAG diagnostics require gold answers or annotated gold evidence, neither of which exists in this regime. We introduce two comprehensive taxonomies, grounded in a case study on the open-ended MedExpert dataset and 3 closed-ended datasets, decomposing failures into retrieval-stage errors along five quality dimensions, and v
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית