כתבה
arXiv cs.CL ·
ראשי Bridge Routing ב LLMs רב-לשוניים
Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs
חוקרים זיהו ראשי Bridge Routing במודלים Llama ו-Qwen, המאפשרים תשובות נכונות לשאלות רב-שלביות במספר שפות. התוצאות מראות כי הראשים האלה משחקים תפקיד מרכזי בתהליך הגיון הרב-לשוני.
תקציר מקורי באנגליתarXiv:2610.09733v1 Announce Type: new Abstract: Multilingual LLMs answer the same multi-hop reasoning question across languages, but we lack a mechanistic account of whether they share an internal circuit. We identify Bridge Routing Heads (BRH) in two large multilingual LLMs through a three-stage pipeline. The resulting language-specific head sets exhibit near-complete mutual exclusivity across the five languages, with a mean Jaccard similarity of only 0.017 for Llama 3.1 70B and 0.057 for Qwen 2.5 72B, revealing language-idiosyncratic circuits. Ablating general BRH increases two-hop Negative Log-Likelihood (NLL) by 39-89x the random-head baseline, providing direct causal evidence of their role. Amplifying these heads in a failing target-language pass rescues up to 51.7% of cross-lingual f
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית