כתבה
arXiv cs.AI ·
חכמת ההמונים של LLM: אגרגציה והתפשטות באנסמבלי של דגלי שפה
Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles
אנסמבלי של דגלי שפה יכולים להשיג תוצאות טובות יותר מדגלים פרטיים, אך התפשטות היא בעיה גדולה. נמצא כי חבילת האגרגציה הטובה ביותר היא רגרסיה לוגיסטית, שהצליחה להשיג תוצאות טובות יותר משיטות אגרגציה קלאסיות. נמצא גם כי רגרסיה לוגיסטית יכולה להשיג תוצאות טובות יותר ממודל רשת, וכי הצלחתה נובעת מלמידת תפוצה לינארית של פלטי דגלים שונים, ולא מהתקשרות רב-ממדית. נמצא כי רגרסיה לוגיסטית יכולה להשיג תוצאות טובות יותר ממודל רשת, וכי הצלחתה נובעת מלמידת תפוצה לינארית של פלטי דגלים שונים, ולא מהתקשרות רב-ממדית.
תקציר מקורי באנגליתarXiv:2607.18269v2 Announce Type: replace Abstract: The wisdom of crowds -- the finding that aggregating judgments across individuals often outperforms the best individual -- has been extensively studied with human forecasters. Whether the same phenomenon emerges when the ``crowd'' consists of large language models (LLMs) is an open question with both theoretical and practical implications. We elicited probability estimates from 15 LLMs on 254 binary prediction market questions and evaluated classical and learned aggregation methods. Learned aggregators -- a multilayer perceptron and a logistic regression -- outperformed all individual models and classical methods. The logistic regression was found to match the neural network, suggesting that the benefit of learned aggregation derives from
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית