כתבה
arXiv cs.LG ·
Aha-Flow Distillation: זרימת Flow Markers בניתוח LLM
Aha-Flow Distillation: Flow Markers Matter in LLM Reasoning
Aha-Flow Distillation היא שיטה חדשה לשיפור ניתוח LLM. היא משתמשת ב-Flow Markers ו-Aha Markers כדי לשפר את היכולת הניתוחית. השיטה נבדקה על מודל Qwen והראתה שיפורים משמעותיים.
תקציר מקורי באנגליתarXiv:2609.07036v1 Announce Type: cross Abstract: We identify the Flow Moment, a reasoning pattern characterized by sustained, process-confirming verbalizations such as I'm doing, in contrast to the revision- and backtracking-oriented Aha Moment. We refer to their corresponding linguistic expressions as Flow Markers and Aha Markers, respectively. Based on this observation, we construct Flow-CoT by rewriting the discourse markers of original reasoning traces while preserving their underlying reasoning content, and use it as auxiliary supervision for on-policy self-distillation (OPSD). We further propose \textbf{Aha-Flow Distillation (AFD)}, a dual-mode extension of OPSD that pairs different forms of privileged information with corresponding reasoning instructions. The Aha branch retains con
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית