כתבה
arXiv cs.CL ·
ReasoningFlow: מבני דיבור להבנת עקבות תהליך של LLM
ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces
ReasoningFlow הוא כלי לניתוח עקבות תהליך של מודלים גדולים. הוא משתמש בגרפים מונחים לתיאור המבנה הדיבורי של העקבות. המחקר בדק 1,260 עקבות מ-5 מודלים שונים, כולל Qwen2.5-32B-Inst, QwQ-32B, DeepSeek-V3, DeepSeek-R1, GPT-oss-120B.
תקציר מקורי באנגליתarXiv:2606.05402v2 Announce Type: replace Abstract: Large reasoning models (LRMs) produce reasoning traces with non-linear structures, such as backtracking and self-correction, that complicate the evaluation and monitoring of the reasoning process. We introduce ReasoningFlow, a framework that captures the discourse structures of LRM reasoning traces into fine-grained directed acyclic graphs (DAGs). We develop and validate our annotation schema through careful manual annotation of 31 traces (2.1k steps), achieving high inter-annotator agreement, then scale to automatic annotation of 1,260 traces (247.7k steps) spanning three tasks (math, science, argumentation) and five models (Qwen2.5-32B-Inst, QwQ-32B, DeepSeek-V3, DeepSeek-R1, GPT-oss-120B). By analyzing ReasoningFlow graphs, we find: (1
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית