כתבה
arXiv cs.AI ·
מה מוסיף שאילת שיתוף?
What Does a Sharing Question Add? Auditing LLM Survey Scores for Misinformation
חוקרים בדקו תוצאות של 8 גרסאות של מודלים גדולים של שפה (LLM) על 290 מאמרים מזויפים. הם מצאו שהתשובות לשאילת שיתוף מכילות מידע מעבר לתוצאות האמינות. המחקר בוחן את התרומה של כל תוצאה מושקעת, מעבר להבדלים בתוצאות או הסכמה בין גירויים.
תקציר מקורי באנגליתarXiv:2604.06820v3 Announce Type: replace Abstract: Evaluating misinformation requires distinguishing whether readers believe content from whether they would share it. Asking large language models (LLMs) both questions yields two scores, but does the sharing answer contribute information beyond the credibility answer? We audit eight model versions on 290 synthetic misinformation articles, using 1,256 paired survey responses with 317 participant identifiers as an external validity criterion. An initial reversal motivates the audit: every model's raw sharing score predicts mean human sharing less accurately than its credibility score. This ordering changes after offset correction, so it does not by itself diagnose missing information. We instead distinguish score reconstructability, persiste
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית