כתבה
arXiv cs.AI ·
אם דגימות שפה גדולות יודעות מה הן לא יודעות II?
Do Large Language Models Know What They Don't Know II? A Fully Behavioral, Non-Cognitive Measure of Epistemic Honesty
במאמר זה, חוקרים חוקרים את האמונות האפיסטמיות של דגימות שפה גדולות, כולל את GPT-5. הם מפתחים ניבוי חדש לבדיקת האמונות האפיסטמיות של דגימות שפה גדולות.
תקציר מקורי באנגליתarXiv:2609.07879v1 Announce Type: new Abstract: Large Language Models (LLMs) are frequently confident, eloquent, and well versed. A natural question arises: do they know what they don't know? To answer this question, we borrow the concept of epistemic honesty and develop a novel metric to systematically evaluate whether an LLM appropriately acknowledges the boundaries of its knowledge. In this work, we introduce the Epistemic Honesty Quotient (EHQ), which reports three observable sub-scores across two operational axes (epistemic restraint and substantive-answer calibration), and construct EHQ-3000, a 3,000-question benchmark spanning Fabricated Entity, Post-Cutoff Event, Hyper-Niche True, and Context-Conditioned Questions. From a frozen registry of 21 model API routes, 15 completed the pro
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית