כתבה
arXiv cs.AI ·
כמה רחוק יכולים להגיע ללא GPU? בחנו ניבוי קל וזול לזיהוי הלוקה
How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
בחנו ניבוי קל וזול לזיהוי הלוקה בשלושה תחומים: תשובות, דיון וסיכום. המאמר עוסק בשימוש במודלי LangGraph ו-Gemini.
תקציר מקורי באנגליתarXiv:2606.29809v2 Announce Type: replace-cross Abstract: Hallucination detection has become a pressing requirement for trustworthy AI deployment at scale. The most accurate detection methods depend on GPU-intensive inference, proprietary API calls, or white-box access to the generating model, putting them out of reach for resource-constrained researchers and practitioners. We explore a practical alternative: how well can hallucination detection perform using only lightweight, CPU-feasible methods built on public models? We benchmark four such detectors, ROUGE-L, semantic similarity, BERTScore, and a Natural Language Inference (NLI) detector based on a FEVER-trained DeBERTa model, together with a score-level ensemble of similarity and NLI. We evaluate them across all three tasks of the Hal
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית