כתבה
arXiv cs.AI ·
אמינות אוכלוסיית: ביקורת על ייצוג תגובות LLM
Population Fidelity: Evaluating Population Representativeness in LLMs
מאמר חדש עוסק בביקורת על ייצוג תגובות של מודלי שפה על-מודלי (LLMs) ובאיך לשפר את אמינותם. המאמר עוסק בפיתוח תוכנה לבדיקת אמינות LLMs, ובביקורת על תגובות של LLMs שנבדקו בעבר.
תקציר מקורי באנגליתarXiv:2609.36253v1 Announce Type: cross Abstract: Large language models (LLMs) show considerable potential in simulating human attitudes and preferences. Prior work finds that LLM-generated responses can compress the range of attitudes found within populations and misrepresent particular subgroups in ways that vary across models and topics. We introduce Population Fidelity, an evaluation framework that distinguishes key conditions required for a set of LLM-generated responses to represent a population. It incorporates three dimensions: group-level accuracy, the amount of between-group variation, and the structure of that variation. We demonstrate the framework's utility in two ways. First, we reproduce a prior study of "machine bias" in LLM survey responses and apply the framework to its m
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית