כתבה
arXiv cs.AI ·
OpenDiscoveryTrace: עקבות תהליך לבדיקת עבודות מדעני AI
OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows
OpenDiscoveryTrace הוא מאגר נתונים ציבורי של 558 מסלולים מלאים של סוכנים מדעיים AI. המאגר כולל מודלים כמו GPT-5.4, Claude Opus 4.6 ו-Gemini 3.1 Pro. הוא מאפשר לבדוק את תהליך ההיגיון של המודלים, לא רק את התוצאות.
תקציר מקורי באנגליתarXiv:2609.09203v1 Announce Type: new Abstract: Existing benchmarks for autonomous AI scientists evaluate only final outputs---generated code, hypotheses, or papers---yet discard the reasoning process by which those outputs were obtained. This makes it impossible to audit scientific methodology, diagnose failure modes, or distinguish systematic reasoning from fortunate guessing. We present \textbf{OpenDiscoveryTrace}, a public dataset of 558 complete AI scientific agent trajectories that captures how models reason, not just what they produce. Each trajectory records a structured 9-field-per-step trace---including thoughts, tool calls, observations, errors, revision triggers, and self-reported confidence---as models execute 124 scientific tasks spanning drug discovery, materials science, ge
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית