כתבה
arXiv cs.AI ·
OSWorld-Science: בנצ'מרק ללימוד ושימוש בתוכנות מדעיות
OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software
OSWorld-Science הוא בנצ'מרק ללימוד ושימוש בתוכנות מדעיות. הוא כולל 12 מודלים ו-146 משימות בתחומים מדעיים שונים. הבנצ'מרק מודד את היכולת של סוכנים להשתמש בתוכנות מדעיות ולהפיק תוצאות מדויקות.
תקציר מקורי באנגליתarXiv:2609.39903v1 Announce Type: new Abstract: Scientific software presents a demanding test for computer-using agents based on visual language models (VLMs): completing a research workflow requires interpreting specialized interfaces, manipulating scientific objects, and producing verifiable results. We thus introduce OSWorld-Science, a benchmark and evaluation environment that combines scientifically meaningful tasks, artifact-based evaluation, and an efficient agent harness for studying computer use in the scientific domain. The benchmark contains 12 VLMs and 146 high-quality tasks across several scientific domains and software configurations, covering workflows such as molecular drawing and retrosynthesis, pathology image analysis, statistical computing, and physical simulation. Tasks
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית