כתבה
arXiv cs.LG ·
אלגוריתם ג'וספי אסינכרוני ומהיר לאופטימיזציה רב-צומתית
Fast and Efficient Asynchronous Gossip Algorithm for Robust and Non-Smooth Convex Decentralized Learning
אלגוריתם ג'וספי אסינכרוני ללמידה רב-צומתית, הדורש זיכרון נמוך. המאמר מציג אלגוריתם חדש, Goal-PD, שמקטין את דרישות הזיכרון ל-2 נגזרות לכל צומת, ומוכיח כי הוא מתקרב לפתרון האופטימלי. המאמר כולל ניסויים שמדגימים את יעילות האלגוריתם.
תקציר מקורי באנגליתarXiv:2601.20571v3 Announce Type: replace Abstract: Asynchronous primal-dual methods for decentralized non-smooth convex optimization often require each node to maintain $\mathcal{O}(d)$ auxiliary variables, where $d$ is its degree. This dependence on degree increases memory requirements and can amplify the effects of stale information, especially in dense networks. Motivated by the challenge of frugal memory management in decentralized learning, we introduce Goal-PD, an asynchronous gossip-based primal-dual algorithm that maintains only two variables per node, regardless of the node's degree. We establish almost-sure convergence of Goal-PD to a minimizer of the underlying optimization problem, and prove linear convergence when the objective functions are piecewise linear-quadratic. For de
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית