כתבה
arXiv cs.CL ·
PRISMA-LLM: מסגרת דיווח אמפירית לביקורות מערכתיות מונחות AI
PRISMA-LLM: An Empirical Reporting Framework for AI-Assisted Systematic Reviews
PRISMA-LLM היא מסגרת דיווח אמפירית לביקורות מערכתיות מונחות AI. היא מבוססת על ניתוח של 888 מאמרים ו-14,726 הערות. המסגרת מסייעת בדיווח על שימוש במודלים גדולים ותוכנות AI בביקורות מערכתיות.
תקציר מקורי באנגליתarXiv:2609.11559v1 Announce Type: cross Abstract: Large language models (LLMs) and AI-enabled software increasingly participate in systematic-review decisions, yet the information needed to audit these workflows is reported inconsistently. We analyze SciLitBench, a corpus of 888 review-automation papers with 14,726 annotations, to characterize changes in methods, review-stage use, evaluation and reported limitations. Automation has shifted toward LLM- and software-facing workflows, including stages that can alter the evidence base. Since 2023, 38.0% of software/product papers reported no evaluation, compared with 9.3% of LLM papers. Reporting coverage increased with LLM workflow complexity, yet 52% of positive-only LLM evaluations still reported an unmet reliability or performance requirem
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית