כתבה
arXiv cs.CL ·
FrontierChallenge: בדיקת תקדים של תהליך עבודה מדעי
FrontierChallenge: Evaluating Scientific Workflow Completion
FrontierChallenge היא בדיקת תקדים של תהליך עבודה מדעי, הכוללת 300 תהליכי עבודה מדעיים. המאמר עוסק בבדיקת יכולות של מודלי GPT-5, LangGraph ו-Gemini בתהליכי עבודה מדעיים.
תקציר מקורי באנגליתarXiv:2608.24979v2 Announce Type: replace-cross Abstract: Scientific agents increasingly analyze data, execute code, and produce research artifacts, yet most benchmarks emphasize final answers, isolated programs, or a single domain. We introduce FrontierChallenge, a cross-domain benchmark comprising 300 end-to-end scientific workflows. In this paper, we release and evaluate 97 of these tasks, spanning quantum chemistry, molecular dynamics, materials characterization, analytical chemistry, life science, and electrochemistry/environment. Each task provides fixed inputs and specifies a bundle of required scientific deliverables. We evaluate twelve frontier models with three agent scaffolds. Pass Rate measures the fraction of tasks satisfying the full-completion criterion, while Avg. Score cap
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית