כתבה
arXiv cs.CL ·
מהו כתיב טוב? חשיפה ובדיקה של תורות משתמעות של איכות ספרותית
What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces
חוקרים בדקו כיצד מודלים של LLM מעריכים איכות ספרותית. הם השתמשו ב-DeepSeek ו-Qwen QwQ כדי לבדוק איך המודלים מגיבים לטקסטים ברמות איכות שונות.
תקציר מקורי באנגליתarXiv:2607.20425v1 Announce Type: new Abstract: What makes writing "good" remains a persistent question in literary studies and computational linguistics. We present a two-study investigation of how reasoning-enabled LLMs evaluate literary quality. In Study 1, we construct a benchmark of 30 real texts spanning six quality tiers, from canonical literature to anonymous forum posts, and extract the model's implicit theory of quality from its reasoning traces. Across five DeepSeek replications, the model achieves 79.3% mean tier-classification accuracy. The traces reveal a consistent stated theory: the model values intentionality over correctness, prioritizing craft, depth, and distinctive voice. A familiarity experiment with style-matched but unrecognizable passages suggests that source recog
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית