כתבה
arXiv cs.CL ·
E2A-Bench: בדיקת אמינות הפעולה מראיות בניתוח גרפים פיננסיים
E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning
E2A-Bench הוא בנך' לבדיקת מודלים ויז'ואלי-לשוניים פיננסיים. הוא בודק את היכולת להפוך ראיות מגרפים להמלצות פעולה אמינות. הבנך' כולל 969 שאילתות ו-323 מרכיבי HS300. התוצאות מראות כי הערכת מודלים פיננסיים צריכה לעקוב אחר השרשרת המלאה של ראיות-לפעולה.
תקציר מקורי באנגליתarXiv:2609.14302v1 Announce Type: new Abstract: Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucination evaluations are mostly claim-centric; they assess whether generated statements are supported, but not whether evidence remains traceable through rationale, confidence, and final action. We introduce E2A-Bench, a 969-query benchmark for financial chart reasoning, constructed from 323 HS300 constituents under three input modalities with deterministic OHLCV-derived evidence anchors. E2A-Bench evaluates grounding, reasoning-action consistency, evidence-confidence calibration, and directional coverage through UCR, RCI, ECI, and NDR, where NDR measures coverage-aware evidence-to-action reliability rather than realized trading
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית