כתבה
arXiv cs.AI ·
APEX-Accounting
במאמר זה נחשפה APEX-Accounting, בנק המבחן שנבנה על ידי Mercor בשיתוף עם Ramp, כדי לבדוק האם דגמי גבול יכולים לבצע עבודות של חשבים. הבנק המבחן כולל 160 תפקידים, שנחלקו ל-10 עולמות שונים. כל עולם כולל מערכת חשבונאית, טבלאות, קובצי PDF וקבצים אחרים. כל תפקיד נכתב ונפתר על ידי מומחים בחשבונאות ובספרות, שגם כתבו תבניות ציון.
תקציר מקורי באנגליתarXiv:2607.27189v2 Announce Type: cross Abstract: We introduce APEX-Accounting, a benchmark built by Mercor in partnership with Ramp, to assess whether frontier models can do the real work of accountants. Tasks include reconciling accounts, accruing expenses, posting transactions, and producing reports. The private eval set comprises 160 tasks, split across 10 worlds. Each world contains an accounting system, as well as spreadsheets, PDFs, and other files. Every task was authored and solved by experts in accounting and bookkeeping, who also wrote grading rubrics. Across nine frontier models, Claude-Fable-5 (Max) leads with 56.4% Mean Criteria@3, ahead of Muse-Spark-1.1 (xHigh) at 52.6%. No model scores more than 2.6% Pass^8 (GPT-5.6-Sol (Max+Pro)) and the highest Pass@8 is 21.5% (Muse-Spar
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית