כתבה
arXiv cs.AI ·
קודדים מוקדם, נעשים מאוחר: כיצד תרמופורמרים פועלים על ידי חומרה של שותף שהוסקה
Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise
תרמופורמרים יכולים להסיק יכולות של שותף כבר בשלבים מוקדמים של השיחה. המחקר עושה שימוש בקורפוס ExpertCollab, שכולל שיחות משוחחים בין דמויות שמשוחקות על ידי תרמופורמרים, בארבע רמות של יכולות. התוצאות מצביעות על כך שהיכולות של השותף ניתנות לקריאה בשלבים המוקדמים של התרמופורמר, ונעלמות לפני השלב הביניים של התרמופורמר. המחקר גם מראה כי ההבדל בין היכולות של השותף, אם נגיש בשלב המוקדם, לא ישנה את התוצאה בשלב המאוחר. אך אם נגיש את ההבדל בשלב הביניים, התוצאה תשתנה באופן משמעותי.
תקציר מקורי באנגליתarXiv:2609.07139v1 Announce Type: new Abstract: A transformer can make an attribute linearly decodable in its residual stream at a depth where that attribute does not yet influence the output. This gap between where information is readable and where it is used has been shown for attributes stated directly in the input. We ask whether it also holds for an attribute the model must infer gradually over a conversation, namely how expert its dialogue partner is. Using ExpertCollab, a corpus of multi-turn research-planning dialogues between model-played personas at four expertise levels, we find that partner expertise is most decodable in the early layers and falls to near chance before the midpoint of the network. Counterfactual patching shows that injecting the expertise difference at the laye
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית