כתבה
arXiv cs.CL ·
AdvancedMathBench: בנק אוטומטי לבדיקת הוכחות מתמטיות
AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification
AdvancedMathBench הוא בנק אוטומטי לבדיקת הוכחות מתמטיות מתקדמות. הוא כולל 245 בעיות ברמת התואר הראשון והדוקטורט. המודל GPT-5.5-xhigh השיג רק 64.5 ו-48.9 בחלקים השונים.
תקציר מקורי באנגליתarXiv:2607.11849v2 Announce Type: replace Abstract: Large language models (LLMs) have achieved remarkable performance on high-school and competition-level mathematics, yet their capabilities on advanced mathematics remain poorly understood. Existing benchmarks, however, fall short in both scope and evaluation granularity: they provide limited disciplinary coverage and often rely on final-answer correctness or coarse judgments, leaving the validity of the reasoning process inadequately assessed. To bridge this gap, we introduce AdvancedMathBench, a benchmark suite designed to evaluate the reasoning capabilities of LLMs on advanced mathematical proofs. Its core generation benchmark, ProverBench, contains 245 problems spanning undergraduate (UG) and doctoral qualifying-exam (QE) levels. To re
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית