כתבה
arXiv cs.AI ·
S4oP: עיצוב פרונינג של מודלי מצב-מבנה מבורך לציוד עם משאבים מוגבלים
S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices
מודלי מצב-מבנה מבורך, כולל S4 ו-S4D, הפכו למודלים חזקים לתיאור תלותיות ארוכות-טווח בנתוני רצף. עם זאת, יישום אלה בסביבות זמן ומשאבים מוגבלים נותר קשה. במאמר זה, הצגנו פרונינג פרוגרסיבי, על-מבנה, של מודלי S4 ו-S4D, שמצמצם את עלות החישוב בעודו שומר על תפוקת המודל. ניסויים במספר סטים נתונים חשפו כי פרונינג של עד 70% של המבנים המודליים שומר על תפוקת המודל המקורי ברוב המקרים, ומצמצם את עלות החישוב באופן ניכר.
תקציר מקורי באנגליתarXiv:2606.18096v2 Announce Type: replace-cross Abstract: Structured State Space Models (SSMs), including the S4 and S4D architectures, have recently emerged as powerful alternatives to attention-based models for capturing long-range dependencies in sequential data. Despite their strong empirical performance, deploying these models in time- and resource-constrained settings remains challenging due to their computational and memory demands. In this paper, we propose a novel incremental, operator-level pruning approach for S4- and S4D-based models that significantly reduces inference cost while preserving predictive performance. To the best of our knowledge, this is the first work to systematically investigate structured operator pruning for SSMs. Our method progressively prunes model operat
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית