כתבה
arXiv cs.CL ·
כשמפיקים תקלות: ירידה בגודל תפוצה והלם ודאי בהכרזה על זיהוי תקלות ב-LLM
When Auditors Fabricate: Batch-Size Degradation and Confident Hallucination in LLM Detection of Planted Document Contamination
מודלי שפה גדולים נכשלים בזיהוי תקלות שנטעו במסמכים. הם יוצרים תקלות חדשות ומסתירים את כשלותם.
תקציר מקורי באנגליתarXiv:2609.09696v1 Announce Type: new Abstract: Large language models are increasingly proposed as automated auditors of document quality, yet their reliability as detectors of planted errors is poorly characterised. We construct a contaminated corpus of 150 academic papers spanning supply chain management and medical research, injecting 450 known contaminants of three types: typographical corruption, semantic reversal, and absurd out-of-context insertion. We then evaluate Google Gemini 3.0 Pro's ability to recover a 180-contaminant answer-key subset across 60 documents under three prompting regimes of increasing scale: single document, small batch, and large batch. Detection holds at small scale and then collapses: 50% recovery on single documents, 60% on small batches, and 2.8% on large
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית