כתבה
arXiv cs.LG ·
In-Run Data Shapley for Adam Optimizer
הצגנו שיטה חדשה להערכת תרומת הנתונים בלמידת מכונה. השיטה, שנקראת In-Run Data Shapley, מאפשרת לחשב את התרומה של כל נתון בזמן האימון, ולא רק לאחריו.
תקציר מקורי באנגליתarXiv:2602.00329v4 Announce Type: replace Abstract: Reliable data attribution is essential for mitigating bias and reducing computational waste in modern machine learning, with the Shapley value serving as the theoretical gold standard. While recent "In-Run" methods bypass the prohibitive cost of retraining by estimating contributions dynamically, they heavily rely on the linear structure of Stochastic Gradient Descent (SGD) and fail to capture the complex dynamics of adaptive optimizers like Adam. In this work, we demonstrate that data attribution is inherently optimizer-dependent: we show that SGD-based proxies diverge significantly from true contributions under Adam (Pearson $R \approx 0.11$), rendering them ineffective for modern training pipelines. To bridge this gap, we propose Adam-
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית