כתבה
arXiv cs.CL ·
Polistemics: בחינת LLMs כמתווכי מידע בפוליטיקה ובחירות
Polistemics: Evaluating LLMs as Information Mediators in Politics & Elections
Polistemics היא בנצ'מרק לבחינת LLMs כמתווכי מידע בפוליטיקה ובחירות. היא בודקת את היכולת של LLMs לספק מידע מהימן בנושאים פוליטיים, ומצאה שהדגמים הנבדקים מתפקדים היטב רק כאשר המידע ברור וחד-משמעי.
תקציר מקורי באנגליתarXiv:2607.25953v1 Announce Type: new Abstract: As LLMs increasingly mediate the political information citizens rely on, there is still no standardized way to assess whether they do so responsibly. We introduce Polistemics, a theory-grounded benchmark for evaluating LLMs as mediators of political information in elections. Prior work has treated this task as reproduction rather than mediation, leaving its epistemic dimensions and interaction with imperfect information unaddressed. We ground the evaluation in Epistemic Modesty, a normative standard derived from citizens' epistemic agency, and test it across controlled settings that vary informational properties such as clarity, noise, and consistency. Applying the benchmark to three state-of-the-art LLMs on the 2025 German and Dutch election
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית