כתבה
arXiv cs.LG ·
איחור רשומות מדויק בתשומת לב דלתא
Exact Record Omission in Delta Attention: A Transport Criterion, Its Cost, and a Replay Certificate
חוקרים בדקו את האפשרות למחיקת רשומות מדויקת בתשומת לב דלתא. הם מצאו שאף אחד מהשיטות שנבדקו לא מסיר את הרשומה לחלוטין, אך שיחזור נקודת ביקורת מאפשר השגת איחור מדויק.
תקציר מקורי באנגליתarXiv:2609.06872v1 Announce Type: new Abstract: When a user asks an assistant to forget a record, the test is whether the memory now matches the state it would hold if the record had never been stored. Independently encoded rows can be removed directly; a recurrent memory folds records into an evolving state. One hope is a receipt: save the difference the record made when it arrived, carry it forward through later updates, and subtract it, so that deletion costs one fixed-size edit no matter how long the conversation runs. We show that a transported receipt reaches exact omission if and only if the changes the record induces in later updates cancel out on net, and we measure whether they do on the released 48B Kimi Linear hybrid. They do not: after 4,096 further tokens the record still lea
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית