כתבה
arXiv cs.AI ·
מפות לקוד: בניית מבחן היררכי למודלים מרובדי-תצוגה
From Charts to Code: A Hierarchical Benchmark for Multimodal Models
הוצגה חדשה במבחן למודלים מרובדי-תצוגה לבדיקת הבנת מפות וייצור קוד. המבחן, שנקרא Chart2Code, כולל 2,023 משימות ובודק את יכולת המודלים לייצר קוד ולהפיק מפות תקינות. המבחן כולל שלושה רמות: רמת 1 (שיקוף מפה) דורשת מהמודלים לייצר מפה תקינה מתיאור ומפה, רמת 2 (עריכת מפה) דורשת מהמודלים לערוך מפה ולהוסיף אלמנטים חדשים, ורמת 3 (הפיכת טבלה למפה) דורשת מהמודלים להפיק מפה מטבלה ארוכה ומפורטת.
תקציר מקורי באנגליתarXiv:2510.17932v5 Announce Type: replace-cross Abstract: We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that refl
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית