יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

לא לחשב את התיקונים, פסיק על תוצאה בלבד: כלי ביקורת תגמולי לתיקון שגיאות גרמטיקלי

Don't Count the Edits, Judge by the Outcome Alone: Reward-Based Evaluation for Grammatical Error Correction
כלי חדש לביקורת תיקון שגיאות גרמטיקלי עוסק בתוצאה ולא בתיקונים. הכלי, SURE, מלמד כלי ביקורת שמסתמך על המקור ומדרג את התיקונים. המחברים טענו כי SURE מבצע טוב יותר בהשוואה לבסיסים חזקים, ובמיוחד בתיקוני סגנון כתיבה.
תקציר מקורי באנגליתarXiv:2609.15559v1 Announce Type: new Abstract: Grammatical error correction (GEC) evaluation has traditionally relied on reference or edit overlap, which can penalize valid rewrites that differ from gold corrections. Reference-free metrics reduce this dependence, but evaluating whether a fluent output is a valid correction of the source remains challenging. We propose SURE, a source-conditioned reward evaluator trained on within-source preferences spanning minimal-edit and rewrite-oriented corrections. SURE jointly learns an overall reward with criteria-level supervision for grammaticality, faithfulness, and fluency, together with span-level grounding for source-side error resolution. Experiments on SEEDA show that SURE performs competitively against strong baselines, with particular gain
קרא במקור המקורי