כתבה
arXiv cs.LG ·
מנגנון אחד למרחבים מנטליים רבים
One mechanism for many mental spaces: a shared router over a value slot in language models
מחקר זה מציג מנגנון משותף למרחבים מנטליים במודלים של שפה. המנגנון מאפשר למודלים ליצור ולנהל מרחבים מנטליים שונים, כגון מרחבים של אמונות, זיכרונות והיפותטיות. המחקר מראה כי מודלים מסוג LLaMA משתמשים במנגנון זה כדי לנהל מרחבים מנטליים.
תקציר מקורי באנגליתarXiv:2607.10248v2 Announce Type: replace-cross Abstract: Language builds discourse contexts other than the actual: a painting, a belief, a memory, a hypothetical. Each is a mental space in which the same entity can take a different value, as when a flower is red in reality but purple in a portrait. Formal semantics keeps these contexts apart because their logics differ (modal, temporal, doxastic, depictive). Fauconnier's mental-space theory, by contrast, treats them as one space-building operation. We ask which of these a transformer language model implements, and find a mechanistic version of Fauconnier's unification. The model uses one router/slot format across the inventory: a reusable value slot stores attributed content, and a causally manipulable router (the space index) selects whi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית