כתבה
arXiv cs.AI ·
המפקד האחד-מילה: חומרה של תשובות-בחירה ב-44 מודלי שפה
The One-Word Census: Answer-Choice Conformity Across 44 Language Models
מחקר חדש מגלה כי 105 מודלי שפה נוטים לבחור באותה תשובה לאותו שאלה. זאת כאשר הם נשאלים לבחור במילה אחת מתוך רשימה רחבה של אפשרויות. המחקר, שפורסם בארכיוו של arXiv, חושף כי המודלים הללו נוטים לבחור באותה תשובה, 'serendipity', 46% מהפעמים. המחקר חושף גם כי המודלים הללו נוטים לבחור באותה תשובה, 'serendipity', 46% מהפעמים.
תקציר מקורי באנגליתarXiv:2607.12796v3 Announce Type: replace-cross Abstract: When a language model must choose one answer from a large space of equally valid options, which answer does it choose, and how often is it the answer every other model chooses? Asked to "pick a word," 105 language models from more than twenty labs chose serendipity 46% of the time. We measure this convergence, and each model's share in it, with 96 single-turn prompts that each name a category with many valid one-word answers ("Name a tree."), asked eight times per model and scored by exact match, with no embeddings and no judge. A model's answer-choice surprisal is the average -log2 probability of its answers under the pooled answers of all other models. In 28 of 96 categories a single answer takes at least 80% of all answers. The c
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית