כתבה
arXiv cs.CL ·
לא עד שהראיות יאמרו כן: הוראת LLM לחוקרים כיצד לסגור תיק
Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case
מאמר זה עוסק בהוראת LLM לחוקרים כיצד לסגור תיקים תוך תזמון ראיות. המחברים טסטו את המודל Nautil, שהוכשר לסגור תיקים, ומצאו שהוא יוצא טוב יותר מאשר רוב המודלים האחרים. הם גם טסטו את המודל באמצעות ניסויי תקן ומצאו שהוא יוצא טוב יותר מאשר רוב המודלים האחרים.
תקציר מקורי באנגליתarXiv:2610.03190v1 Announce Type: new Abstract: Accident, defect and outage investigations end with a decision that ordinary question answering never faces: whether the evidence gathered so far is enough to close the case. We study this decision for LLM investigators, which request evidence from a case file, revise their hypotheses, and either close the case with a conclusion grounded in what they read or leave it open and name what is missing. This judgment does not come with capability: an untrained 9B model overstates its evidence in 97% of its answers, and a frontier model that identifies the right cause in 84% of cases still overstates in 91% and closes 17 of the 41 cases whose official finding is "cause undetermined". Measuring it is also non-trivial: the source of a case largely pre
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית