כתבה
arXiv cs.CL ·
Crypto Accounting Bench
Crypto Accounting Bench: Evaluating Frontier and Open-Weight Models on Crypto-Asset Accounting Tasks
Crypto Accounting Bench הוא בנץ'מרק לבדיקת יכולתם של מודלי שפה לשחזר רישומים עסקיים שלמים עבור עסקאות מטבעות מבוזרים. הבנץ'מרק כולל 118 משימות מ-7 ארגונים שונים. המודלים המובילים השיגו 77.43% Mean Score ו-56.78% Pass@3.
תקציר מקורי באנגליתarXiv:2609.14811v1 Announce Type: cross Abstract: We introduce Crypto Accounting Bench (CAB), a benchmark for assessing whether frontier and open-weight language models can reconstruct the complete journal entry that an organization actually posted for a crypto-asset transaction. CAB contains 118 evaluation tasks drawn from 7 pseudonymized organizations. Each task combines transaction mechanics, asset quantities and base-currency values, wallet and legal-entity context, counterparty evidence, related transaction legs, recurrence, tax-lot evidence, and the organization's complete chart of accounts. The target is a balanced structured entry with every required account, side, amount, currency, and full-precision asset quantity. We evaluate 12 models spanning proprietary frontier systems and o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית