כתבה
arXiv cs.AI ·
Functional Subspace: שימוש באלגברה של וקטורים לפתרון בעיות
Functional Subspace, where language models can use vector algebra to solve problems
מודלי שפה גדולים (LLMs) משתמשים באלגברה של וקטורים לפתרון בעיות. ניתוח של חוקרים מצא ש-LLMs יכולים ליצור מרחבים תת-ייצוג, שבהם ניתן לבנות ולבצע פעולות אלגבריות. זה יכול לסייע בהבנת תפקודם של LLMs ובפיתוחם.
תקציר מקורי באנגליתarXiv:2602.01687v3 Announce Type: replace-cross Abstract: Large language models (LLMs) were invented for natural language tasks such as translation, but they have proved that they can perform highly complex functions across domains. Additionally, they have been thought to develop new skills without being trained on them. These learning capabilities lead to LLMs adoption in a wide range of domains. Thus, it is imperative that we understand their operating mechanisms and limitations for proper diagnostics and repair. The earlier studies proposed that high level concepts are encoded as linear directions in LLMs activation space and that the geometry of embeddings have semantic meanings. Inspired by these studies, we hypothesize that LLMs may use subspaces and vector algebra in subspaces to pe
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית