כתבה
arXiv cs.AI ·
MatToolBench: בנצ'מרק לסוכנים רב-מודאליים
MatToolBench: Benchmarking Multimodal Agents in Real-World Materials Science Workflows
MatToolBench הוא בנצ'מרק לסוכנים רב-מודאליים בתחום מדעי החומרים. הוא כולל 204 משימות ב-10 כלים שונים. הניסויים מראים כי ביצועים טובים בבנצ'מרקים כלליים אינם מתרגמים לעבודות מדעיות מקצועיות.
תקציר מקורי באנגליתarXiv:2609.37053v1 Announce Type: new Abstract: Multimodal GUI agents have achieved impressive results on general software benchmarks, yet their ability to operate professional scientific software remains largely unexplored. In materials science, sparse domain-specific web data, specialized interfaces, and tacit workflow conventions create blind spots that general-purpose pretraining cannot readily bridge. We present MatToolBench, the first real-environment benchmark for evaluating multimodal GUI agents on professional materials science software, comprising 204 tasks across 10 tools in three modalities: GUI operation, OriginPro scripting, and code-based database queries, all executed inside a Windows 11 VM. Each task is decomposed into fine-grained sub-criteria by domain experts, enabling
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית