כתבה
arXiv cs.CL ·
URCHIN: מודל שפה אופקי מגובב
URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining
URCHIN הוא מודל שפה אופקי מגובב המשתמש בנוירונים מגובבים ובחיבורים מקבילים. הוא מתאים לאימון על נתונים מוגבלים ומציע נקודת ייחוס ביולוגית ויעילה.
תקציר מקורי באנגליתarXiv:2609.13899v1 Announce Type: cross Abstract: The BabyLM challenge measures how much language a model can learn from developmentally-plausible, child-scale data rather than internet-scale corpora, yet prior language models forgo the biological constraints of the neural circuitry that acquires human language: spiking neurons separated into excitatory and inhibitory populations wired by a recurrent lateral connectome. This paper presents URCHIN (Unified Recurrent Connectome with Horizontal Integrate-and-fire Neurons), which applies the Parallelized Hierarchical Connectome Spiking State-space Model (PHCSSM) to language modeling: leaky integrate-and-fire neurons coupled by a Dale's-law lateral connectome resolve each token through a multi-transmission loop that recirculates activity to a f
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית