כתבה
arXiv cs.CL ·
הכוונת הפעילה הבין-לשונית
Cross-Lingual Activation Steering for Multilingual Language Models
CLAS היא שיטה חדשה לשיפור ביצועים של מודלים רב-לשוניים. היא מאפשרת לשפר את הביצועים בשפות שונות, תוך כדי שמירה על ביצועים גבוהים בשפות דומיננטיות. CLAS פועלת על ידי הכוונת הפעילה הבין-לשונית, שמאפשרת למודל להתאים עצמו לשפות שונות.
תקציר מקורי באנגליתarXiv:2601.16390v2 Announce Type: replace Abstract: Large language models exhibit strong multilingual capabilities, yet significant performance gaps persist between dominant and non-dominant languages. Prior work attributes this gap to imbalances between shared and language-specific neurons in multilingual representations. We propose Cross-Lingual Activation Steering (CLAS), a training-free inference-time intervention that selectively modulates neuron activations. We evaluate CLAS on classification and generation benchmarks, achieving average improvements of 2.3% (Acc.) and 3.4% (F1) respectively, while maintaining high-resource language performance. We discover that effective transfer operates through functional divergence rather than strict alignment; performance gains correlate with inc
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית