כתבה
arXiv cs.CL ·
IdeaAMBIG: בדיקת פערים במימוש רעיונות מחקר
IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications
IdeaAMBIG היא בנך לבדיקת פערים במימוש רעיונות מחקר. היא בודקת שלוש יכולות: הערכת כשירות למימוש, איתור תקלות ויצירת פעולות ביאור. הבנך כוללת 660 מקרים, והיא מוכיחה שהדגמים הטובים ביותר משיגים שיעור הצלחה גבוה.
תקציר מקורי באנגליתarXiv:2609.10539v1 Announce Type: new Abstract: A research idea may be novel, coherent, and scientifically plausible, yet its proposed method may remain insufficiently specified for faithful implementation. We study the codification readiness of implementation-facing research-method specifications, defined by whether they provide sufficient methodological information for a competent implementer or coding agent to construct the intended method without unsupported assumptions. We construct evidence-grounded specifications and their supported resolutions from papers, codebases, issue threads, and reproduction artifacts. We introduce IdeaAMBIG, a benchmark of 660 evidence-grounded instances: 163 real-world gaps from reproducibility reports and GitHub issues, and 497 controlled synthetic gaps i
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית