כתבה
arXiv cs.AI ·
הבנת Unlearning מכונות דרך Mode Connectivity
Understanding Machine Unlearning Through the Lens of Mode Connectivity
חוקרים בוחנים את תהליך ה-Unlearning של מודלים מלאכותיים דרך Mode Connectivity, תופעה שבה ניתן לחבר מודלים עצמאיים בנתיבים חלקים במרחב פרמטרים. המחקר מציג את MCU, שיטה להערכת Mode Connectivity ב-Unlearning, ומראה כי רבים מהמודלים המאולצים נמצאים באגנים מחוברים עם התנהגות של שמירה/שכחה חלקה.
תקציר מקורי באנגליתarXiv:2607.23970v1 Announce Type: cross Abstract: Machine Unlearning aims to remove undesired information from trained models without full retraining from scratch. Despite recent progress, the loss landscape and optimization geometry of unlearning are poorly understood. In this paper, we study machine unlearning through the lens of mode connectivity--the phenomenon that independently trained models can often be connected by smooth low-loss paths in parameter space. We introduce {\em mode connectivity in unlearning} (MCU) and evaluate it across a range of settings, including curriculum learning, second-order optimization, and connectivity across different unlearning methods. We find that many unlearned models lie in connected basins with smooth retain/forget behavior, while changes in train
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית