כתבה
arXiv cs.LG ·
הניעור החסר: אבחון ותיקון של היגיון מתמטי במודלים של שפה גדולים
The Missing Primitive: Diagnosing and Repairing Mathematical Reasoning in Large Language Models
חוקרים בדקו את היכולת של מודלים גדולים של שפה להבין היגיון מתמטי. הם פיתחו בנך' המודד את היכולת לגלות, לייצר, לעכל ולבצע פעולות מתמטיות. התוצאות הראו שהמודלים מצליחים בפעולות מסוימות אך נכשלים באחרות, וכי ניתן לשפר את היכולת שלהם באמצעות שיטות מסוימות.
תקציר מקורי באנגליתarXiv:2610.02191v1 Announce Type: new Abstract: While Large Language Models (LLMs) have demonstrated striking capabilities on frontier mathematical problems, it remains unclear whether they possess the structural mathematical understanding underlying their solutions. In this paper, we take a first step toward systematically studying mathematical understanding in LLMs, from diagnosing its distinct capabilities to leveraging these findings to improve post-training. First, we introduce the notion of Mathematical Primitive to probe structural mathematical understanding and propose \hlei{}, a novel benchmark that evaluates mathematical reasoning along four distinct dimensions: Discovery, Generation, Digestion, and Execution. Second, our systematic diagnosis shows that solution accuracy masks di
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית