כתבה
arXiv cs.AI ·
פופולציה של סקיילינג או חידושי נתונים? דינמיקה של התפתחות טופולוגיה קומוניטרית
Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning
המאמר חוקר את ההשפעות של גודל הפופולציה והחלוקה של הנתונים על דינמיקת הלמידה הקומוניטרית. התוצאות מראות שהשינויים בטופולוגיה ובמיקסינג של הנתונים יכולים להשפיע על התפשטות המודלים.
תקציר מקורי באנגליתarXiv:2610.05476v2 Announce Type: replace-cross Abstract: Scaling decentralized learning changes not only the number of clients $N$, but also the dynamics of information propagation and consensus. We argue that the effect of increasing $N$ cannot be understood in isolation, because data allocation, topology-dependent mixing, and communication capacity may change simultaneously. We study these coupled effects on CIFAR-10 with $N\in\{10,50,100,200\}$, comparing a degree-two Ring, a Static Random graph, and Local-First Heuristic Evolution (LFHE), a locally adaptive topology process based on friend-of-friend discovery. The Ring provides an analytically transparent failure mode: its Metropolis spectral gap decays as $\Theta(N^{-2})$, implying progressively slower contraction of model disagreeme
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית