כתבה
arXiv cs.CL ·
דגמים לנכונות: למידה של נבאים נבונים וא-ספציפיים לנכונות
Generalized Correctness Models: Learning Calibrated and Model-Agnostic Correctness Predictors from Historical Patterns
דגמים לנכונות: למידה של נבאים נבונים וא-ספציפיים לנכונות. ניתן ללמוד נבאים לנכונות של LLMs מספרי תגובות היסטוריות.
תקציר מקורי באנגליתarXiv:2509.24988v2 Announce Type: replace Abstract: Generating accurate and calibrated confidence estimates is critical for deploying LLMs in high-stakes or user-facing applications, and remains an open challenge. Prior research has often framed confidence as a problem of eliciting a model's "self-knowledge", i.e., the ability of an LLM to judge whether its own answers are correct; this approach implicitly assumes that there is some privileged information about the answer's correctness that is accessible to the model itself. However, our experiments reveal that an LLM attempting to predict the correctness of its own outputs generally performs no better than an unrelated LLM. Moreover, we hypothesize that a key factor in building a "Correctness Model" (CM) is exposure to a target model's hi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית