כתבה
arXiv cs.CL ·
דטקציה של הלומינציה המקצועית במודלי שפה גדולים
Domain-Specific Hallucination Detection in Large Language Models
מערכת דטקציה של הלומינציה המקצועית במודלי שפה גדולים. המחקר מציג פילוסופיה חדשה לדטקציה של הלומינציה המקצועית, המשתמשת בטכניקות של DeBERTa-v3, Dropout וקליברציה. המערכת הוכיחה את עצמה בבסיס ה-HaluEval, והציגה תוצאות טובות בדטקציה של הלומינציה המקצועית.
תקציר מקורי באנגליתarXiv:2609.11878v1 Announce Type: new Abstract: Large language models generate fluent text that can contain unfaithful claims -- a phenomenon known as hallucination. We present a multi-signal detection pipeline combining fine-tuned DeBERTa-v3 classification, Monte Carlo (MC) Dropout uncertainty quantification, and temperature-scaled calibration for response-level hallucination detection. Evaluated on the HaluEval benchmark, our pipeline achieves F1=0.915 and AUROC=0.977 on general-domain tasks, with per-task F1 scores of 0.97 (QA), 0.96 (Summarization), and 0.82 (Dialogue). MC Dropout inference further improves accuracy to 93.2%. A context ablation study confirms the model performs genuine entailment reasoning rather than exploiting surface patterns, with summarization F1 dropping 24% when
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית