כתבה
arXiv cs.AI ·
חקירת מקורות היכולת להסבר: איכות הייצוג לבעיות חשבוניות ב-RL ו-SFT
Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models
חוקרים חקרו את הגורמים ליכולת ההסבר של מודלי RL ו-SFT. המחקר מצא כי RL מפתח ייצוגים מבניים ומבוררים יותר.
תקציר מקורי באנגליתarXiv:2607.26119v1 Announce Type: new Abstract: Large reasoning models trained via reinforcement learning (RL) have been increasingly shown to outperform their supervised fine-tuned (SFT) counterparts on mathematical reasoning tasks; Yet the mechanistic basis for this advantage remains unclear. We therefore ask, what internal representational differences enable RL models' superior performance? Our work presents two converging lines of evidence: First, linear probes trained on layer-wise hidden states reveal that RL models tend to achieve higher accuracy in predicting answer correctness compared to SFT models, indicating more linearly separable and structured representations. Second, mean ablation studies show that RL models develop a hierarchical architecture where deeper layers become pro
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית