כתבה
arXiv cs.CL ·
כמה השפעה יש לשינויי הצפיות האנושיים של סטרוקטורה פורמלית?
How Much Human Label Variation Does Formal Semantic Structure Explain? Group-Level Effects and Item-Level Ceilings in NLI
שינויי הצפיות האנושיים ב-NLI נחשבים כסיגנל, ולא כרעש. המאמר חוקר את השפעת סטרוקטורה פורמלית על שינויי הצפיות.
תקציר מקורי באנגליתarXiv:2607.15870v3 Announce Type: replace Abstract: Human label variation in natural language inference (NLI) is increasingly treated as a signal to be measured rather than as noise to be removed. We ask whether one candidate source of that signal, formal semantic structure such as negation, quantification, and monotonicity, changes how much annotators disagree and what they disagree about. We tag the SNLI and MNLI items of ChaosNLI, each labeled by 100 annotators, with a rule-based monotonicity tagger, check the tagger by hand on a sample of the same items, and answer three questions. At the group level, hypotheses that are not purely upward monotone attract somewhat more disagreement, but an error sensitivity analysis shows that this difference is sensitive to tagger error. At the item l
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית