כתבה
arXiv cs.CL ·
חשיבה בלי מערכתיות? בחינה של מודלי תקיפה על תפקודי גילוי כללים
Thought without systematicity? Evaluating reasoning models on rule induction tasks
בחינה של מודלי תקיפה על תפקודי גילוי כללים חשפה חוסר במערכתיות. מודלי תקיפה כגון Gemini, לעיתים, יכולים לפתור תפקודים, אך נכשלים בתפקודים שקרובים להם. תוצאות אלה מעידות על חוסר במערכתיות בתקיפה של מודלי תקיפה, ומקשים על קביעת יכולות קוגניטיביות שלהם מעבר לתפקודים שבהם הוכשרו.
תקציר מקורי באנגליתarXiv:2609.13948v1 Announce Type: new Abstract: A central tenet of human cognition is systematicity, the principle that understanding one concept is inherently tied to understanding close variations of that concept. Do reasoning models robustly exhibit such systematicity? If so, we would expect consistent performance on structurally equivalent variants of the same task. Here, we extend established rule induction tasks from cognitive science to assess the systematicity of thought in current reasoning models. Each task family has compositional structure that we use to create structurally equivalent task variations through task isomorphisms such as recombination and substitution. We find that despite being able to correctly solve a task, models often fail on structurally equivalent variants o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית