כתבה
arXiv cs.AI ·
ORCA: בדיקת LLMs בתרגום קוד תחום הנתונים
ORCA: Evaluating LLMs on Data Science Code Translation
בדיקת LLMs בתרגום קוד תחום הנתונים. ORCA, מבחן כללי, מדגים קוד תחום הנתונים ב-3 תחומים ו-7 סוגי משימות.
תקציר מקורי באנגליתarXiv:2609.30749v1 Announce Type: new Abstract: Data Science Code Translation (DSCT) is the process of converting code between data science libraries while preserving functional equivalence and enabling interoperability across data science ecosystems. While Large Language Models (LLMs) have demonstrated considerable progress in Data Science Code Generation (DSCG), their performance in DSCT remains insufficiently studied. To address this gap, we introduce ORCA, a comprehensive benchmark with two complementary settings: ORCA-MAIN, which comprises 1,600 carefully curated grounding-level tasks across 3 representative domains: Data Querying, Data Manipulation, and Deep Learning; and ORCA-PROJECT, which contains 200 translation tasks over complete data science projects across 7 data science task
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית