יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

סינון הפסד קוונטילי ל-SDG עמיד בפני חריגים

Quantile-based Loss Filtering for Outlier-Robust Stochastic Gradient Descent
חוקרים הציעו שיטה חדשה לסינון הפסד קוונטילי עבור אופטימיזציה של פונקציות עם חריגים. השיטה, QkL-SGD, משתמשת בדגימה של k הפסדים ובחירה אקראית מהקוונטיל התחתון. השיטה הוכחה כעמידה בפני חריגים ומציגה תוצאות טובות יותר מ-SDG רגיל.
תקציר מקורי באנגליתarXiv:2609.13040v1 Announce Type: new Abstract: We study loss-based filtering for finite-sum optimization with a subset of corrupted component functions whose gradients may be highly unreliable. Motivated by minimum-loss-based SGD (min-$k$-loss) and quantile-based methods for corrupted linear systems, we propose and analyze a general loss-filtering framework -- Quantile-\(k\)-Loss SGD (Q\(k\)L-SGD) -- that samples \(k\) component losses at each iteration and updates using an index chosen uniformly from the lower empirical \(q\)-quantile. We prove linear convergence of this family of methods under standard convexity assumptions, requiring the sample size to scale with the number of corruptions and a subset strong-convexity threshold. For the cases when large enough sampling is impossible or
קרא במקור המקורי