כתבה
arXiv cs.AI ·
מודלים לניבוי תקינות כללית
Generalized Correctness Models: Learning Calibrated and Model-Agnostic Correctness Predictors from Historical Patterns
חוקרים מציעים מודלים לניבוי תקינות כללית למודלים שפה גדולים. המודלים הללו מסוגלים ללמוד מנתוני תקינות היסטוריים ולנבא תקינות באופן כללי ועצמאי. המחקר בודק את היכולת של המודלים לנבא תקינות במספר רב של מודלים ומאגרי נתונים.
תקציר מקורי באנגליתarXiv:2509.24988v2 Announce Type: replace-cross Abstract: Generating accurate and calibrated confidence estimates is critical for deploying LLMs in high-stakes or user-facing applications, and remains an open challenge. Prior research has often framed confidence as a problem of eliciting a model's "self-knowledge", i.e., the ability of an LLM to judge whether its own answers are correct; this approach implicitly assumes that there is some privileged information about the answer's correctness that is accessible to the model itself. However, our experiments reveal that an LLM attempting to predict the correctness of its own outputs generally performs no better than an unrelated LLM. Moreover, we hypothesize that a key factor in building a "Correctness Model" (CM) is exposure to a target mode
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית