כתבה
arXiv cs.CL ·
שינוי באמון מילולי ל-LLM
Rethinking Verbalized Confidence for LLM-as-a-Judge: A Compatibility Shift on Post-2025 Proprietary Models
חוקרים מצאו כי אמון מילולי הוא מנגנון רך יותר עבור LLM-as-a-Judge. הם בדקו 18 מודלים, כולל GPT, ומצאו שאמון מילולי עולה על לוג-הסתברות במודלים מ-2025 ואילך.
תקציר מקורי באנגליתarXiv:2609.10996v1 Announce Type: new Abstract: Verbalized confidence, long dismissed as overconfident, coarse, and prone to round-number clustering, is now the more robust soft-scoring mechanism for LLM-as-a-Judge on top-tier proprietary models. Across SummEval, AggreFact, and HelpSteer2, spanning up to 18 LLMs, we show that the standard advice to prefer log-probabilities no longer holds on post-2025 models, where verbalized confidence is the better signal. We call this a compatibility shift. On top of a standard verbalized-confidence baseline, we introduce two new ingredients: an overconfidence advisory and self-debate. Together they improve calibration, score-distribution spread, and robustness to task subjectivity. We further observe a generation effect: post-2025 models accommodate th
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית