כתבה
arXiv cs.AI ·
ImplicitBBQ: בדיקת הטיה מרומזת במודלים גדולים
ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues
ImplicitBBQ הוא בנץ'מרק לבדיקת הטיה מרומזת במודלים גדולים. הוא בודק את ההטיה המרומזת ב-11 מודלים, כולל LLM. התוצאות מראות שההטיה המרומזת גבוהה פי 6 מההטיה המפורשת.
תקציר מקורי באנגליתarXiv:2604.01925v2 Announce Type: replace-cross Abstract: Large Language Models increasingly suppress biased outputs when demographic identity is stated explicitly, yet may still exhibit implicit biases when identity is conveyed indirectly. Existing benchmarks use name based proxies to detect implicit biases, which carry weak associations with many social demographics and cannot extend to dimensions like age or socioeconomic status. We introduce ImplicitBBQ, a QA benchmark that evaluates implicit bias through characteristic based cues, demographically associated attributes that signal implicitly, across age, gender, region, religion, caste, and socioeconomic status. Evaluating 11 models, we find that implicit bias in ambiguous contexts is over six times higher than explicit bias in open we
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית