כתבה
arXiv cs.LG ·
LLM: אומדן אי-ודאות שונה מזה של בני אדם
"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification
חוקרים בדקו כיצד מודלים כמו LLM מעריכים אי-ודאות לשונית, ומצאו שהם שונים מבני אדם. הם פיתחו אלגוריתם חדש להתאמת אומדן אי-ודאות.
תקציר מקורי באנגליתarXiv:2610.00083v1 Announce Type: new Abstract: Humans express uncertainty verbally via markers (e.g., "possible," "likely"), yet most LLM uncertainty quantification (UQ) relies on costing likelihood- or consistency-based signals. From a cognitive perspective, accurate verbal uncertainty reflects metacognitive monitoring, representing knowledge boundaries ("knowing that you don't know") to support regulation and information seeking. In this paper, we investigate how LLMs diverge from humans in verbal uncertainty quantification and whether verbal markers can reliably quantify LLM uncertainty. We curate a corpus of human uncertainty markers from psychology and decision-science literature and benchmark LLMs against it. We observe that LLMs encode verbal uncertainty with numerical levels that
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית