כתבה
arXiv cs.AI ·
מתי LLMs צריכים לבטוח בתיקונים שלהם?
When Should LLMs Trust Their Own Revisions? A Risk-Aware Study of Intrinsic Self-Correction
חוקרים בדקו כיצד מודלי LLM יכולים לתקן את עצמם. הם בדקו 29 מודלים פתוחים ומצאו שתיקונים יכולים לשפר או להרע את הדיוק. החוקרים הציעו להתייחס לתיקון עצמי כמדיניות ולא כפעולה אוטומטית.
תקציר מקורי באנגליתarXiv:2609.35832v1 Announce Type: cross Abstract: Intrinsic self-correction asks a language model to revise its own answer without receiving new external evidence. A second pass can recover mistakes, but it can also overturn answers that were already correct. We study this trade-off across 29 open-weight LLMs on BoolQ, GSM8K, and Corr2Cause by tracking correctness transitions between initial and revised answers. Aggregate accuracy can conceal substantially different revision behavior: for example, Llama-3.1-8B improves by 25.5 percentage points on GSM8K, while refinement changes 19.1% of initially correct answers into wrong ones. A controlled BoolQ study further shows that refinement prompts shift the balance between recovery and harm. We then compare three runtime choices: keeping the ini
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית