כתבה
arXiv cs.LG ·
גילוי הזיות במודלי שפה גדולים
Domain-Specific Hallucination Detection in Large Language Models
חוקרים פיתחו שיטה לגילוי הזיות במודלי שפה גדולים. השיטה משלבת סימנים רבים וקליברציה. נבדקה על מודל Qwen2.5-0.5B והצליחה להפחית את שיעור ההזיות.
תקציר מקורי באנגליתarXiv:2609.11878v1 Announce Type: cross Abstract: Large language models generate fluent text that can contain unfaithful claims -- a phenomenon known as hallucination. We present a multi-signal detection pipeline combining fine-tuned DeBERTa-v3 classification, Monte Carlo (MC) Dropout uncertainty quantification, and temperature-scaled calibration for response-level hallucination detection. Evaluated on the HaluEval benchmark, our pipeline achieves F1=0.915 and AUROC=0.977 on general-domain tasks, with per-task F1 scores of 0.97 (QA), 0.96 (Summarization), and 0.82 (Dialogue). MC Dropout inference further improves accuracy to 93.2%. A context ablation study confirms the model performs genuine entailment reasoning rather than exploiting surface patterns, with summarization F1 dropping 24% wh
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית