כתבה
arXiv cs.AI ·
ANI: חבילת תפיסה מספרית מתגברת לאיחוד התייחסות סמנטית ומתמטית בתחום המתמטיקה
ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning
חבילת ANI מציעה פתרון לבעיית התייחסות מספרית ב-LLMs. הפתרון, המשלב תפיסה מספרית ותייחסות סמנטית, משפר את יכולת המתמטיקה של LLMs ב-9.5 נקודות. החבילה נבחנה ב-LangGraph ו-Gemini.
תקציר מקורי באנגליתarXiv:2609.39294v1 Announce Type: new Abstract: Precise numerical reasoning with Large Language Models (LLMs) is essential for expanding their applicability to complex real-world tasks. However, text-based tokenization often fragments numbers, significantly hindering precise arithmetic reasoning. Meanwhile, numerical embeddings, despite arithmetic precision, rely on context-agnostic substitution that disregards the semantic role of numbers as identifiers. To combine the complementary strengths, we propose \textbf{ANI (Adaptive Numerical Injection)}, a hybrid framework that governs the selective injection of numerical features based on the semantic context. By employing a context-aware gating mechanism, we selectively inject numerical embeddings (specifically FoNE) into the latent space, ex
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית