כתבה
arXiv cs.AI ·
חיזוי החלטות LLM רגישות למיקום
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
חוקרים בדקו אם ניתן לחזות החלטות LLM רגישות למיקום מתוך הפעילות השארית בזרם. הם השתמשו ב-Llama-3.1-8B וב-Qwen3. התוצאות מראות כי ניתן לחזות החלטות משתנות.
תקציר מקורי באנגליתarXiv:2610.07115v1 Announce Type: cross Abstract: The order in which candidate responses are presented can change an LLM judge's verdict. Detecting such a position flip ordinarily requires judging each pair in both orders, which doubles the number of judgments. We investigate whether residual stream activations recorded immediately before the initial verdict can predict a flip. We use nested grouped cross-validation to evaluate regularized linear probes on 534 JudgeBench pairs for three Qwen3 judges and Llama-3.1-8B. The linear probes achieve AUROCs of .621-.850 and outperform a combined baseline that uses verbalized confidence, verdict-label logits, response lengths, and the judge's initial choice by .062-.113 AUROC. Linear probes trained on JudgeBench and then frozen achieve AUROCs of .6
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית