כתבה
arXiv cs.AI ·
כאשר הרקע משתנה: הבנת כשלי העדכון ב-LLMs
When Context Changes: Understanding Update Failures in LLMs
במאמר זה נחקרים כשלי העדכון ב-LLMs ונוצר תקן לעקוב אחר ולהשתמש במידע מעודכן. התקן, המכונה CICM, מאפשר לבדוק כיצד דגמי LLMs עושים שימוש במידע עדכן ולאייץ את הדגמים לשפר את התנהגותם. המחקר גילה כי גם דגמי LLMs המתקדמים ביותר עשויים לכשל בעדכון המידע. התקן CICM יכול לסייע לפתח דגמי LLMs יעילים יותר שיכולים לשמור על מידע עדכן ולהשתמש בו.
תקציר מקורי באנגליתarXiv:2609.38866v1 Announce Type: new Abstract: As preferences, goals, and facts change, LLM agents must use the current state while earlier versions remain in context. Yet they can answer with an old value of the same variable, a failure that we call stale binding. To study when models use outdated information and why, we introduce Controlled In-Context Memory (CICM), a benchmark for tracking and using updated information in conversations and agent logs. We observe that even frontier reasoning models can fail to recover the current state. We find that in open-source models probes can still recover the updated value when the model answers with an old one, pointing to a failure to select information that remains available. Component tests in Qwen and Pythia identify a mechanism for this sel
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית