כתבה
arXiv cs.AI ·
Unmerge: אלגוריתם לביטול למידה
Unmerge: Efficient Machine Unlearning via Task Arithmetic
אלגוריתם Unmerge מאפשר ביטול למידה יעיל על ידי פירוק וקטום השפעת נתונים. האלגוריתם נבדק על מודלים כגון Llama-3.2-3B ו-ResNet-50.
תקציר מקורי באנגליתarXiv:2609.38895v1 Announce Type: cross Abstract: Approximate machine unlearning seeks to remove the influence of a forget set from a trained model without full retraining. Existing gradient-based methods require data-dependent hyperparameter search, struggle when forget and retain knowledge are entangled, and offer little insight into where unlearning actually happens inside the network. We recast unlearning through the lens of task arithmetic: if finetuning produces a merged task vector $\tau_m$ that combines learning on forget and retain sets, unlearning is the inverse operation that subtracts a learned forget component $\tau_F$ to recover the retain task vector $\tau_R$. The forget signal is concentrated: at every layer, forget activations lie in a subspace spanned by a handful of domi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית