כתבה
arXiv cs.LG ·
התאמת הטיה מובנית לתכנון נתונים יעיל
Aligning Inductive Bias for Data-Efficient Generalization in State Space Models
חוקרים מציגים שיטה להתאמת הטיה מובנית במודלים של מרחב מצב, כדי לשפר את יעילות התכנון. השיטה משתמשת בתדרים כדי להתאים את המודל למשימה הנדרשת.
תקציר מקורי באנגליתarXiv:2509.20789v5 Announce Type: replace Abstract: The remarkable success of modern AI has been closely tied to scaling laws, yet the finite supply of high-quality data makes data efficiency--learning more from less--an increasingly important frontier. A model's inductive bias is a critical lever for data efficiency, but foundational sequence models such as State Space Models (SSMs) often rely on fixed, task-agnostic biases. When this fixed prior is misaligned with the underlying structure of a task, the model may require additional samples to overcome its own bias before learning the relevant signal. In this work, we introduce a principled framework for understanding and aligning the inductive bias of linear time-invariant SSMs. We first formalize this bias through an SSM-induced kernel
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית