יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.AI ·

אותו טקסט, מספרים שונים

Same Text, Different Numbers: The Divergence of LLM-Based Measures
חוקרים בודקים את השונות בין מדדים מבוססי LLM. הם משתמשים ב-7 מודלים שונים כדי לנתח טקסטים של חברות מה-S&P 500. התוצאות מראות שהמדדים משתנים בין המודלים, ושבחירת המודל משפיעה על התוצאות.
תקציר מקורי באנגליתarXiv:2609.31013v1 Announce Type: new Abstract: Researchers increasingly use generative large language models (LLMs) to convert corporate text into empirical variables. We examine the extent to which LLM-based textual measures are invariant to model choice using thirteen measures, including sentiment, management clarity, uncertainty, answer specificity, and climate and political risk. Seven LLMs from different providers score earnings call transcripts of S&P 500 companies on these constructs. Cross-model rank correlations average only 0.52, and transcript-level differences common across providers account for only 34% of total score variation. Cross-model disagreement does not predict subsequent analyst or market disagreement, consistent with a substantial model-specific component rather th
קרא במקור המקורי