כתבה
arXiv cs.CL ·
NinaXander: יכולת וגבולות של רכיבת מודלי שפה קפואים ממשפחות ארכיטקטורה שונות באמצעות מרחב עקרוני משותף
NinaXander: Feasibility and Limits of Composing Frozen Language Models Across Architecture Families via a Shared Latent Space
במאמר זה, נציגים את NinaXander, סדרה של מודלי שפה מורכבים שנוצרו על ידי חיבור שכבות של מודלי שפה קפואים ממשפחות ארכיטקטורה שונות באמצעות מרחב עקרוני משותף. המודלים המורכבים עברו בדיקות בעזרת תרגילי טקסט והציגו תוצאות טובות. נראה כי ניתן לרכוב מודלי שפה קפואים ממשפחות ארכיטקטורה שונות, אך ישנם גבולות לכך.
תקציר מקורי באנגליתarXiv:2609.38261v1 Announce Type: new Abstract: In this paper we propose NinaXander, a series of composed language models obtained by connecting layers of frozen language models from different architecture families with a single trained shared-latent adapter. A composed model runs the first layers of one model, converts the resulting intermediate representation once with the adapter, and then runs the remaining layers of the other model. Once the adapter is trained, several composed models that connect at different layers are obtained without retraining. Using the recurrent RWKV-4-Raven-7B and the Transformer-based Tulu-Pythia-6.9b, abbreviated as RWKV and Pythia, this study examines whether frozen models from different families can be recombined post hoc. The composed models answered mult
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית