כתבה
arXiv cs.CL ·
מעגלים משותפים מנבאים האם LLMs מכללים בקריאה ערימתית
Shared circuits predict whether LLMs generalize across formats in arithmetic reasoning
חוקרים בדקו האם מודלים שפה גדולים (LLMs) יכולים להכלל על פורמטים שונים בחישובים אריתמטיים. הם מצאו שמעגלים משותפים במודלים יכולים לנבא האם המודל יוכל להכלל על פורמטים שונים.
תקציר מקורי באנגליתarXiv:2609.04463v1 Announce Type: new Abstract: In many forms of reasoning, including arithmetic reasoning, generalizing across superficial changes in input format is effortless for humans: anyone who can solve 2+5 can also solve 'two plus five'. In contrast, LLMs are more brittle to surface variations of the prompts: for example, they solve numeric arithmetic problems almost perfectly but are substantially less accurate on verbal renditions of the same problems. Here, we ask whether generalization across formats can be predicted from the models' internals. Using attribution patching, we first independently localize the circuit that each model recruits to solve numeric arithmetic problems (2+5) vs. verbal ones, in three languages: English ('two plus five'), Spanish ('dos m\'as cinco'), and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית