כתבה
arXiv cs.AI ·
מאגרי נתונים: ממבנה לתוצאה - מקורות ההלצה במודלי שפה גדולים ותפקידם של נתונים
From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
מודלי שפה גדולים יוצרים תוצאות תקינות, אך שגויות. המאמר חוקר את מקורות השגיאות ואת תפקידן של נתונים
תקציר מקורי באנגליתarXiv:2606.07537v2 Announce Type: replace-cross Abstract: Large language models produce fluent, confident, factually wrong output. Existing taxonomies classify these failures by output type -- intrinsic versus extrinsic, faithfulness versus factuality -- but say nothing about which computational component produced a given failure. We ask what would be required to attribute an individual hallucination to a specific component of the decoder-only stack. We treat three components -- self-attention's associative retrieval, the maximum-likelihood pretraining objective, and autoregressive commitment under exposure bias -- as candidate failure surfaces, justify their separability rather than assuming it, and specify an attribution procedure requiring only sampling access: an ordered set of three i
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית