כתבה
arXiv cs.CL ·
TruthInsightBench: בנק איכותי לבדיקת חשיפה אוטומטית של גילויים מדעיים
TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents
בנק איכותי חדש לבדיקת חשיפה אוטומטית של גילויים מדעיים. הבנק כולל 40 משימות חדשות, שבהן נדרשים המערכות לגלות תוצאות חדשות. הבנק נועד לבדוק את יכולתן של המערכות לגלות תוצאות חדשות, ולבדוק את יכולתן להציג את התוצאות באופן נאמן.
תקציר מקורי באנגליתarXiv:2609.05079v1 Announce Type: cross Abstract: Autonomous coding agents are increasingly proposed as AI-scientist systems that conduct analyses and write research reports, but executing a prescribed analysis is not the same as making a discovery. Existing benchmarks are configured for reproduction: tasks, data, and rubrics are built around a hidden target study, and recovery of its result is rewarded. We present TruthInsightBench, a benchmark configured for discovery. Its 40 blind tasks, drawn from 40 peer-reviewed studies across 10 scientific domains, expose only a neutral scientific objective and frozen data; source conclusions, expected values, and analysis paths are withheld, leaving the agent to determine what claim the data support. A fixed LLM-based judge scores the evidentiary m
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית