כתבה
arXiv cs.CL ·
בעיה, לא נתיב: תקציב וקושי בניתוח מסלולי LLM
It's the Problem, Not the Path: Budget and Difficulty Confounds in LLM Reasoning Trajectories
ניתוח מסלולי LLM מראה כי הבעיה ולא הנתיב הוא הגורם המכריע. מחקר זה בודק את השפעת התקציב והקושי על ביצועי LLM, ומציע כי גישות חדשות נדרשות כדי להבין את התנהגותם.
תקציר מקורי באנגליתarXiv:2609.03436v1 Announce Type: cross Abstract: Reasoning traces of large language models are widely read as containing "breakthrough" moments and early-legible fates. Both readings rest on measurements missing a counterfactual control at the level of the claim; we supply both controls. First, a restart-controlled truncation probe separates when a solution fits the continuation budget from when a prefix carries value that fresh computation cannot buy, comparing per-anchor continuation solve rates against from-scratch restart curves at matched total generated-token budget. Applied to 178 problem-model cells (89 MATH problems x two small open models, an outcome-blind but difficulty-targeted cohort), exactly 1 of 178 cells survives as prefix-limited; restart dose-response separates a comput
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית