כתבה
arXiv cs.LG ·
ניתוח תרבותי של מילים לשירים אנגליים
A Repeated-Measurement Study for Cultural Analytics of English Song Lyrics Using Five Large Language Models
חוקרים בדקו חמישה מודלי LLM גדולים לניתוח תרבותי של מילים לשירים אנגליים. המחקר בוחן את האמינות והיציבות של המודלים בזיהוי בני אדם ותהליכים חברתיים. התוצאות מראות שאמינות המודלים משתנה בין המודלים והתהליכים החברתיים.
תקציר מקורי באנגליתarXiv:2609.04428v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly used to annotate cultural texts at scales that are impractical for human coders. However, before their outputs are treated as measurements of latent social constructs, it is necessary to establish whether those measurements are reliable. This study evaluates five LLMs as zero-shot annotators of four social constructs expressed in English song lyrics: self-esteem, self-control, seeking belonging, and seeking recognition. Using repeated annotations of a large lyric corpus, we examine three properties of LLM-based measurement: consistency across repeated runs, convergence across models, and transferability of consensus labels to supervised classification. The findings show that LLM-based measurement
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית