כתבה
arXiv cs.CL ·
פסקי דין ללא ראיות מצוינות: דחיית דגימה או הכשרה רק לפי פסקי דין לשחזור ראיות?
Verdicts Without Annotated Evidence: Rejection Sampling or Label-Only Post-Training for Evidence Recovery?
במחקר זה נבחנה אפשרות לשחזור ראיות מפסקי דין ללא צורך באתיקת ראיות אנושיות. התוצאות היו טובות, והצעת הפתרון השנייה, שכללה דחיית דגימה, הציגה תוצאות טובות יותר.
תקציר מקורי באנגליתarXiv:2610.06962v1 Announce Type: new Abstract: In many review workflows the verdict is the only thing retained. The passages behind it are not marked, because that annotation costs far more than recording the decision. We measure how much of that evidence a small language model can recover when it is post-trained on the verdicts alone, with no human evidence labels at any stage. On ContractNLI the human evidence spans are held out until evaluation. Matching the recorded verdict and agreeing with those spans are not the same thing: across six systems the two scores are only weakly related and rank the systems differently, so accuracy is a poor guide when the citations have to be reviewable. Label-only training on the bare verdict reaches accuracy 0.896 and span F1 0.564. Rejection sampling
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית