כתבה
arXiv cs.LG ·
מקורות מבניים של הזיות במודלי שפה גדולים
From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
חוקרים בודקים את המקורות המבניים של הזיות במודלי שפה גדולים. הם מציעים שיטה לייחוס הזיות לרכיבים ספציפיים במודל. המחקר מראה כי רכיבים אלו משמשים כמתווכים הכרחיים לכשלים הנגרמים על ידי הנתונים.
תקציר מקורי באנגליתarXiv:2606.07537v2 Announce Type: replace-cross Abstract: Large language models produce fluent, confident, factually wrong output. Existing taxonomies classify these failures by output type -- intrinsic versus extrinsic, faithfulness versus factuality -- but say nothing about which computational component produced a given failure. We ask what would be required to attribute an individual hallucination to a specific component of the decoder-only stack. We treat three components -- self-attention's associative retrieval, the maximum-likelihood pretraining objective, and autoregressive commitment under exposure bias -- as candidate failure surfaces, justify their separability rather than assuming it, and specify an attribution procedure requiring only sampling access: an ordered set of three i
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית