כתבה
arXiv cs.CL ·
תשובות עם אילוצי סדר, ייצוגים רגישים לסדר בהיגיון מתמטי
Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
חוקרים בודקים את היכולת של מודלים לשמור על תשובות נכונות גם כאשר הסדר של כללים מתמטיים משתנה. הם מוצאים כי מודלים שמצליחים לפתור בעיות מתמטיות עם סדרים שונים מייצגים את הסדרים השונים באופן ברור יותר. המחקר משתמש במודלים כגון LLaMA ו-GPT.
תקציר מקורי באנגליתarXiv:2609.28442v2 Announce Type: replace-cross Abstract: Reordering a set of mathematical rules without changing its meaning should preserve the correct answer, but must a model's internal representations stay invariant too? We investigate this question using synthetic multi-step function-composition problems, each presented under multiple rule orderings with the same correct answer. We measure accuracy and permutation signal-to-noise ratio (SNR), which quantifies how distinctly ordering patterns are represented relative to variation across problem instances. Across 16 language models ranging from 1B to 8B parameters, we find a pattern: models that solve reordered problems more accurately represent different rule orderings more distinctly. Layer-averaged permutation SNR is positively rank
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית