כתבה
arXiv cs.CL ·
מדוע דגלי קול ומידע פונולוגי נצפים על ידי דגלי שפה?
How Do Language Models Represent and Use Phonological Information for Allomorph Selection?
דגלי שפה נצפים על ידי דגלי שפה, ומשתמשים בהם לבחירת אלומורפים. זה נכון גם למודלי שפה שאינם באנגלית.
תקציר מקורי באנגליתarXiv:2609.04708v1 Announce Type: new Abstract: Language models are trained on tokenized text that obscures the sound structure of words, yet they reliably produce morphemes whose form is phonologically conditioned. It remains unclear whether they rely on item-specific memorization or rule-like generalization and, if the latter, how that generalization is implemented. We therefore ask whether this phonological condition is represented within language models and how it is causally used for allomorph selection. For the English indefinite article a/an, we show that the phonological condition is encoded along a single linear direction in trigger-token embeddings, that this direction causally drives article selection in token-level wug tests, and that, at the article-prediction position, the mo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית