כתבה
arXiv cs.CL ·
תנועת חשיבה: מודלים גדולים של שפה ממשיכים לחשוב גם כאשר מורים להם לא לעשות זאת
Thinking Inertia: LLMs Keep Thinking When Told Not To
חוקרים בדקו את התנהגותם של מודלים גדולים של שפה (LLM) כאשר הם מקבלים הוראה לא לחשוב. התוצאות הראו כי המודלים ממשיכים לחשוב גם כאשר מורים להם לא לעשות זאת, וזאת בשל 'תנועת חשיבה' שנוצרת אצלם. המחקר בדק שישה מודלים שונים, כולל LLaMA, ומצא כי הם ממשיכים לחשוב גם כאשר הם מקבלים הוראה לא לעשות זאת.
תקציר מקורי באנגליתarXiv:2610.11765v1 Announce Type: new Abstract: Large Language Models (LLMs) increasingly ship with explicit "thinking modes", yet their counterpart, "no-thinking", has received far less attention. We study LLMs' no-thinking behavior along two axes. a. How to measure no-thinking? Prior work typically defines no-thinking through proxies such as a disabled thinking mode or the absence of long traces. These proxies are unreliable: disabled thinking modes may still emit reasoning, while long traces may contain filler rather than genuine inference. We instead normalize each response into a pre-answer trace and final answer, and evaluate it at three levels: (i) Empty-Thinking Rate for strict answer-only compliance; (ii) instruction-aware Question-Pre-answer Relevance for similarity between the q
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית