כתבה
arXiv cs.LG ·
בעיה, לא נתיב: תקציב וקושי מבלבלים בנתיבי היגיון של LLM
It's the Problem, Not the Path: Budget and Difficulty Confounds in LLM Reasoning Trajectories
חוקרים בדקו את היכולת של מודלים גדולים לשפה (LLM) לפתור בעיות. הם מצאו שהתוצאות תלויות בתקציב ובקושי, ולא בנתיב הפתרון. המחקר השתמש במודל Llama ובמסגרת LangChain.
תקציר מקורי באנגליתarXiv:2609.03436v1 Announce Type: new Abstract: Reasoning traces of large language models are widely read as containing "breakthrough" moments and early-legible fates. Both readings rest on measurements missing a counterfactual control at the level of the claim; we supply both controls. First, a restart-controlled truncation probe separates when a solution fits the continuation budget from when a prefix carries value that fresh computation cannot buy, comparing per-anchor continuation solve rates against from-scratch restart curves at matched total generated-token budget. Applied to 178 problem-model cells (89 MATH problems x two small open models, an outcome-blind but difficulty-targeted cohort), exactly 1 of 178 cells survives as prefix-limited; restart dose-response separates a compute-
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית