כתבה
arXiv cs.AI ·
מדידת מה שחשוב: הערכה פסיכומטרית של AI
Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests
חוקרים הציעו שיטה למדידת התנהגות AI באמצעות מבחני שיפוט מצבי. השיטה משתמשת במודלים כגון LLM ומאפשרת הערכה עקבית יותר של התנהגות המודל. המחקר מראה כי השיטה יכולה לחזות באופן מדויק את התנהגות המודל במצבים שונים.
תקציר מקורי באנגליתarXiv:2510.22170v3 Announce Type: replace Abstract: Persona conditioning is widely used to steer large language model (LLM) behavior, but it is unclear whether it induces stable behavioral structure or superficial variation. We propose a framework to measure consistent behavioral tendencies using situational judgment tests (SJTs), multidimensional item response theory (MIRT), and structured synthetic personas, treating responses as observations of latent behavioral variables. Across large-scale SJT and persona datasets, we find that persona-conditioned behaviors are stable across runs, latent trait scores predict external benchmarks (e.g., TruthfulQA, EmoBench), and MIRT reveals consistent latent structure. We validate these results through human annotation, benchmark evaluation, and inter
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית