כתבה
arXiv cs.AI ·
LLMs לשיחה: התאמה רציפה של תיאוריות מאוחרות
Ventriloquist LLMs: Linear Alignment of Late-Stage Representations
מודלי שפה לומדים תיאוריות מאוחרות תקינות. נמצא כי תיאוריות אלה יכולות להיות מאוחדות באמצעות תרגום רציף, וזאת גם ללא תפנית מחדש של המודל. נמצא גם כי תיאוריות אלה יכולות לשמש לצורך ייצור טקסט על ידי תיאוריות אחרות, וזאת גם ללא תפנית מחדש של המודל.
תקציר מקורי באנגליתarXiv:2603.18908v5 Announce Type: replace Abstract: Independently trained language models often learn compatible late-stage representations, despite differences in training objectives, architectures, and data modalities. We ask how far this compatibility extends: can a simple affine map let one model's hidden states be read directly by another model's output head? In this work, we learn affine transformations between the final hidden states of independent models and evaluate them across embedding classification, out-of-distribution detection, and autoregressive text generation. Across model pairs, we find that downstream performance is largely preserved under alignment, with linearly mapped source representations retaining both the decision boundaries and the confidence structure of a targ
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית