כתבה
arXiv cs.CL ·
PHRBench: הערכת התנהגותית של תהליכי היגיון לאחר הזיות במודלים גדולים
PHRBench: A Behavioral Evaluation of Post-Hallucination Reasoning in LLMs
PHRBench הוא בנך' מבוקר להערכת התנהגותית של תהליכי היגיון לאחר הזיות ב-18 מודלים גדולים. המחקר מצא שתיקון מוצלח נדיר יחסית ומקושר לעדכונים תכופים יותר של אמונות לאורך מסלול ההיגיון.
תקציר מקורי באנגליתarXiv:2610.10455v1 Announce Type: new Abstract: Hallucinated information can propagate through multi-stage LLM systems and become part of the context for subsequent reasoning. Existing studies of post-hallucination reasoning (PHR) mainly characterize changes in final outcomes and aggregate reasoning dynamics, leaving how models resolve hallucinated premises at the response level insufficiently understood. In this work, we introduce PHRBench, a controlled benchmark for behaviorally structured PHR across four domains and 18 large language models. PHRBench characterizes each reasoning trajectory independently of final-answer correctness through Hallucination Compliance, Hallucination Avoidance, and Heuristic Correction, and defines an insightful trajectory as successful correction that ultima
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית