כתבה
arXiv cs.CL ·
כששרשרת המחשבה נופלת, הפתרון נמצא במצבי המחשבה הנסתרים
When Chain-of-Thought Fails, the Solution Hides in the Hidden States
שרשרת המחשבה נופלת, אך מצבי המחשבה הנסתרים מכילים את הפתרון. חוקרים גילו שמצבי המחשבה הנסתרים של מודלי GPT יכולים לכלול מידע רלוונטי לפתרון הבעיה, ושזה יכול להיות יותר פורץ דרך מאשר שרשרת המחשבה המקורית.
תקציר מקורי באנגליתarXiv:2604.23351v3 Announce Type: replace Abstract: Whether intermediate reasoning is computationally useful or merely explanatory depends on whether chain-of-thought (CoT) tokens contain task-relevant information. We present a mechanistic causal analysis of CoT on GSM8K using activation patching: transferring token-level hidden states from a CoT generation to a direct-answer run for the same question, then measuring the effect on final-answer accuracy. Across models, generating after patching yields substantially higher accuracy than both direct-answer prompting and the original CoT trace, revealing that individual CoT tokens can encode sufficient information to recover the correct answer, even when the original trace is incorrect. This task-relevant information is more prevalent in corre
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית