כתבה
arXiv cs.AI ·
ביאור חדש: הטיה בסולם האורדינלי
More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models
חוקרים גילו הטיה בסולם האורדינלי במודלים של קבלת החלטות ישירה. המחקר בדק את JEV ומודלים פתוחים אחרים, ומצא שהם משתמשים רק ב-67-76% מהתמיכה הזמינה. החוקרים פיתחו שיטה לשיפור הניצול של הסולם האורדינלי.
תקציר מקורי באנגליתarXiv:2609.38827v1 Announce Type: new Abstract: Direct-decision models turn text into low-latency structured labels and scores, making them attractive for classification and automatic evaluation. Yet reliability requires more than accuracy: a model must also use the ordinal decision scale supplied by the user faithfully. We analyze JEV~1.13 and three open KEV models. Our investigation begins with ANLI, where JEV assigns 38.8\% of all predictions and 51.3\% of errors to Neutral despite 74.95\% accuracy, nearly balanced gold labels, and balanced candidate positions. Across 36 ordinal datasets, final decisions use only 67--76\% of the effective gold support, versus 87--102\% on four nominal tasks. Randomizing candidate order weakens but does not remove this compression. Holding items and sour
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית