כתבה
arXiv cs.LG ·
מחשבים יציבים: ניתוח מדידה-לא-תלויה לתגובות רציפות
Invariant-Measure Reasoners: Stable Representations for Latent Reasoning
מחשבים יציבים: ניתוח מדידה-לא-תלויה לתגובות רציפות. המחברים הציגו פרקטיקה חדשה למחשבים רציפים, המשתמשת בניתוח מדידה-לא-תלויה. פרקטיקה זו יכולה לשפר את יציבות המחשבים ולהגביר את דיוקם.
תקציר מקורי באנגליתarXiv:2610.10996v1 Announce Type: new Abstract: Latent reasoning models repeatedly update a latent state using the same recurrent block. As the recurrent depth increases, the sequence of latent states may converge to a compact subset of the state space without necessarily converging to a fixed point. Existing models typically predict by applying a prediction head to a single latent state. However, the latent state can continue to change even after many updates, potentially making predictions unstable across recurrent depths. To address this instability, we introduce invariant-measure reasoners (ImR), a framework that uses an invariant measure as a stable representation. This measure describes the long-run distribution of latent states on the compact subset and is invariant under updates by
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית