כתבה
arXiv cs.AI ·
NinaXander: אפשרויות וגבולות של מודלים שפה משוחברים
NinaXander: Feasibility and Limits of Composing Frozen Language Models Across Architecture Families via a Shared Latent Space
NinaXander הוא מחקר הבוחן את האפשרות לחבר מודלים שפה קפואים ממשפחות ארכיטקטורה שונות. המחקר משתמש במודלים RWKV ו-Pythia, ומראה כי ניתן לחבר אותם באמצעות אדפטר משותף. התוצאות מראות כי המודלים המשוחברים מסוגלים לייצר טקסט תקין, אך הדיוק שלהם יורד בהשוואה למודלים המקוריים.
תקציר מקורי באנגליתarXiv:2609.38261v1 Announce Type: cross Abstract: In this paper we propose NinaXander, a series of composed language models obtained by connecting layers of frozen language models from different architecture families with a single trained shared-latent adapter. A composed model runs the first layers of one model, converts the resulting intermediate representation once with the adapter, and then runs the remaining layers of the other model. Once the adapter is trained, several composed models that connect at different layers are obtained without retraining. Using the recurrent RWKV-4-Raven-7B and the Transformer-based Tulu-Pythia-6.9b, abbreviated as RWKV and Pythia, this study examines whether frozen models from different families can be recombined post hoc. The composed models answered mu
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית