כתבה
arXiv cs.CL ·
חזרה לאופנה: גישה סוציולינגוויסטית ליצירה ומדידת נאמנות אישיות בסימולציית משתמש
Back in Style: A Sociolinguistic Approach to Authoring and Measuring Persona Fidelity in User Simulation
חוקרים מציעים גישה סוציולינגוויסטית ליצירה ומדידת נאמנות אישיות בסימולציית משתמש. הם מאמתרים את הגישה בחמישה סוכנים ומוצאים שהיא משפרת את ההתאמה הסגנונית והבחנה הסטילומטרית. המחקר יכול לתרום לפיתוח סימולציות משתמש מדויקות יותר.
תקציר מקורי באנגליתarXiv:2610.10988v1 Announce Type: new Abstract: As agentic systems gain commercial popularity, user simulators increasingly serve as measurement instrument for their evaluation. However, the fidelity of simulated users in comparison to real human users is generally low, and typically assessed by costly, subjective LLM judges. In this pilot study, we ask whether fidelity can instead be measured deterministically by treating a user persona sociolinguistically: as a social type that emerges from observable linguistic style, rather than one predicted by labels or descriptions a model must extrapolate into behaviour. We author personas as concrete stylistic rates, which lets us transfer two established, model-free instruments -- authorship-verification stylometry and lexicon-based content analy
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית