כתבה
arXiv cs.AI ·
מעבר מאמון: בדיקה מומחה של ידע עצמי בדגם החלטה שחור-קופסה
Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model
בדיקה של ידע עצמי בדגם החלטה שחור-קופסה. המאמר עוסק בבדיקה של ידע עצמי בדגם החלטה שחור-קופסה. המחברים ערכו בדיקה של ידע עצמי בדגם החלטה שחור-קופסה ומצאו שהדגם נוטה להגביר את המאמון במקרים שבהם הוא לא יודע את התשובה. המחברים גם חקרו את השימוש בדגם לבדיקת ידע עצמי ומצאו שהדגם יכול להיות כלי יעיל לבדיקת ידע עצמי.
תקציר מקורי באנגליתarXiv:2610.01006v1 Announce Type: new Abstract: Decision models return probabilities intended for routing, abstention and automated action. Calibration makes those probabilities useful on average, but does not establish whether low confidence reflects chance or missing knowledge, nor whether confidence falls when a model moves beyond what it knows. We audit this distinction in Jev, a decision model, with over 15 public datasets and 6 generated task families, with paired interventions that vary the information supplied for a fixed item. Jev's confidence is calibrated on familiar closed-choice tasks but fails as an indicator of missing knowledge: with no answer-relevant information it assigns up to 0.80 to a salient option, and on news beyond an observed knowledge boundary it exceeds accurac
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית