כתבה
arXiv cs.LG ·
LadderEdit: עריכה-רמת ניצור נגזרת להפחתת זיכרון לעריכה חיים-ארוכה של LLMs
LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs
LadderEdit היא שיטה שמקיף ניצור נגזרת של LoRA adapters להפחתת זיכרון לעריכה חיים-ארוכה של LLMs. השיטה מאפשרת לשמור עריכות רבות בזיכרון ולשמור עדכנות בעריכות.
תקציר מקורי באנגליתarXiv:2610.11160v1 Announce Type: cross Abstract: Lifelong editing of LLMs requires storing thousands of edits after acquisition. A widely used family of approaches attaches one LoRA adapter per edit, which preserves behavior but grows linearly in storage. To address this challenge, we propose LadderEdit, a method that compresses each LoRA adapter after it is acquired. Each edit is first stored at low rank as a cheap sketch. We then check whether this sketch still satisfies the rewrite, generalization, and locality contract on probe prompts. Edits that pass keep the sketch; those that fail are promoted to a higher rank along a ladder until the contract is met. Because every edit retains some representation, coverage is maintained, and only hard edits consume more rank. Across ZsRE, Counter
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית