כתבה
arXiv cs.LG ·
גם דגמי מודלים קטנים יכולים להעריך באופן סביר את ביטחונם
Also Small Models Can Reasonably Self-Evaluate Their Confidence
המחקר הזה חוקר את יכולתם של דגמי מודלים קטנים להעריך את ביטחונם. התוצאות מצאו שדגמי מודלים קטנים יכולים להעריך את ביטחונם באופן סביר, גם אם הם פחות נכונים.
תקציר מקורי באנגליתarXiv:2609.39478v1 Announce Type: new Abstract: This study systematically evaluates self-evaluation-based uncertainty quantification across different language models of varying sizes on question-answering tasks spanning general to specialized knowledge domains. Using various self-evaluation methods where models judge their own predictions, we examine how model scale and domain specificity affect the quality of self-assessed confidence signals. Our results reveal that while accuracy predictably declines with smaller models and more specialized domains, the reliability of self-evaluated confidence remains largely stable across both dimensions. This independence means the most capable model is not necessarily the best at self-assessing prediction reliability. These findings suggest that small
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית