כתבה
arXiv cs.CL ·
Moir: ניתוב סיפור עצמאי לעריכת ידע רובוסטית
Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing
Moir הוא אלגוריתם שמאפשר עריכת ידע רובוסטית במודלים. הוא פותר את הבעיה של איבוד יכולות לוגיות ותכנותיות בעת עריכה. Moir משתמש במודל עצמו כדי לאמד את הקובריאנס. הוא נבדק על מודלים כמו Qwen-3 ו-Llama-3.1
תקציר מקורי באנגליתarXiv:2607.20433v1 Announce Type: new Abstract: While language models remain frozen at their training state, the world evolves continuously. Knowledge editing has emerged as a key alternative to full retraining, but its deployment is bottlenecked by the erosion of core capabilities: mathematical and programmatic reasoning collapse while encyclopedic recall remains intact. We trace this asymmetric degradation to a distributional mismatch. Covariance-based editors preserve only the subspaces spanned by their reference corpus, but fail to capture the operative distribution shaped by post-training such as SFT and DPO. Static external corpora, including Wikipedia and even the original pretraining mixture, cannot recover this shifted manifold. We propose Moir, which estimates the preservation co
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית