כתבה
arXiv cs.CL ·
עדות ראשונה, אריתמטיקה שנייה: דיווח מערכת וניתוח כשל ל-DocSem
Evidence First, Arithmetic Second: A System Report and Failure Analysis for DocSem
מערכת לקריאת דוקומנטים וביצוע אריתמטיקה, ניתוח כשלים והצעות לשיפור. המערכת EVICALC השיגה 8.61% דיוק יחסי ב-1,730 תפקידים בבדיקה סופית.
תקציר מקורי באנגליתarXiv:2609.39013v1 Announce Type: new Abstract: EVICALC, our system for the DocSem shared task, achieved 8.61% joint accuracy on 1,730 tasks in the official final test evaluation. It reads a PDF, selects a passage, asks a language model to write an arithmetic expression, and evaluates that expression in local code. Saved intermediate results support inspection of failures. A separate public-validation run achieved 92.17% answer accuracy and 1.00 evidence F1. The configurations and metrics differ, so these scores are not a controlled comparison. Our manual, post-hoc analysis is descriptive: in one inspected case, optical character recognition (OCR) and block grouping merged the relevant passage into another block, and the system answered from unrelated text. An exploratory study of reading
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית