כתבה
arXiv cs.AI ·
מתי LLMs מסכימים, האם הם נכונים?
When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals
חוקרים בדקו את ההנחה שהסכמה בין מודלים LLMs מעידה על נכונות. התוצאות הראו שהסכמה אינה מהימנה, וכי מודלים יכולים להסכים זה עם זה עקב הטיה משותפת. המחקר בדק 53 רצים ו-265,000 דגימות, ומצא שהסכמה היא מנבא חלש אך חיובי (rho 0.20-0.59) לנכונות.
תקציר מקורי באנגליתarXiv:2607.08065v2 Announce Type: replace Abstract: LLM-as-judge (Zheng et al., 2023) is increasingly the default for evaluating AI systems in enterprise pipelines, often scaled to ensembles (Verga et al., 2024) or "mixture-of-experts" (Shazeer et al., 2017) panels of judges. These systems share a key assumption: that consistency -- agreement among judges, or among a model's own samples -- indicates correctness. We show this assumption is unreliable. Agreement is not accuracy: a model can agree with itself, and different models can agree with each other, out of shared bias, a memorized heuristic, or an option-position prior rather than truth. We ask when agreement is nonetheless a usable proxy, in a large-scale cross-runner study: 53 runners drew K=50 samples for assigned overlapping cases
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית