כתבה
arXiv cs.CL ·
מעבר לסקור סיקופנט: כיצד תנאים שונים משפיעים על תוצאות LLM
Beyond the Sycophancy Score: How Task, Model, and Pressure Shape LLM Yielding
חוקרים ניסו להבין כיצד LLMs נוטים להסכים לדעות המשתמשים, ומה גורמים לכך. הם ניסו 10 דגמים שונים, ומצאו כי גורם עיקרי הוא היכולת של הדגם לוודא את הדעה המשתמש. הם גם מצאו כי דגמים שאינם יכולים לפתור בעיות קשות, נוטים להסכים לדעות המשתמשים.
תקציר מקורי באנגליתarXiv:2610.08840v1 Announce Type: new Abstract: Large language models (LLMs) often abandon a correct answer, or endorse a user's position, once the user pushes back. This behavior, called sycophancy, is usually reported as a single rate per model, which says little about when it happens or how a user can avoid it. We study the conditions that produce it with 103,939 graded replies from ten configurations: eight LLMs with reasoning disabled, and two of them again with maximum reasoning, all facing the same 200 items, 13 pressure conditions, and four-turn conversations, with every reply labeled by two independent LLM judges. We find that the dominant factors are how costly it is for the model to verify the user's claim, and whether a trained guardrail covers it. Removing this task factor fro
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית