כתבה
arXiv cs.LG ·
בדיקת תהליך במודלי שפה מחוברים
Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary
חוקרים בדיקת תהליך במודלי שפה מחוברים. הם בודקים אם מודלים יכולים לקרוא את איכות החישוב שלהם ואם התערבות חיצונית יכולה לשפר את התוצאות. הניסויים נערכו על מודל LLaMA.
תקציר מקורי באנגליתarXiv:2607.18553v2 Announce Type: replace Abstract: Can a language model read the quality of its ongoing computation, and can an external intervention turn that readout into better outcomes? We test both questions in a frozen 2.6B looped transformer, Ouro-RLTT. On GSM8K, a strict pre-answer probe excludes the answer region and gold value yet predicts success: hidden states plus surface features (length, log-probability) reach AUROC 0.797, versus 0.731 for surface features alone (increment +0.066; task-clustered 95% CI [+0.021, +0.112]; 170 tasks, 680 candidates). On Horizon Logic, the same within-domain comparison gives +0.141 (CI [+0.004, +0.290]; 56 tasks), positive but imprecise. Low-capacity taps also read task-disjoint branch survival and generated-branch correctness, while recurrence
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית