כתבה
arXiv cs.LG ·
לא ניתן להסביר: השוואה בין חשיבה וחשיבה ראויה לפירוש
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
במאמר זה, חוקרים חוקרים את חשיבה ראויה לפירוש, ומצאו שהטקסט של צעדי החשיבה לא מכיל מידע על חשיבה ראויה לפירוש. הם גם מצאו ש-LLMs יכולים להסביר חשיבה ראויה לפירוש, אך רק במידה מוגבלת.
תקציר מקורי באנגליתarXiv:2609.04194v1 Announce Type: cross Abstract: Reasoning traces from chain-of-thought models appear to offer a legible window into how a model arrives at its answer. A growing body of work treats them as such, using LLM judges to diagnose errors, evaluate faithfulness, and provide step-level supervision via process reward models and generative critics. These practices rely on the text of a reasoning step carrying information about its functional role. But does the text actually encode information about which reasoning steps matter? We operationalize the importance of a reasoning step as its advantage: the change in expected reward, e.g., producing the correct final answer, from including that step, estimated via Monte Carlo rollouts. Basing ground truth on these estimates, we evaluate w
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית