כתבה
arXiv cs.LG ·
מעבר מלחיצה אחידה: חלוקת תקשורת מבוקרת להעברה חד-צדדית
Beyond Uniform Compression: Budgeted Transmission Allocation for Extreme Federated Learning
אנו מציגים פרוטוקול חדש ללמידה התפלגנית, LBAT, המקטין את הצמיגה התקשורתית באמצעות חלוקה דינמית של ערך השידור. LBAT משתמש בסימני טרפלינג עצמאיים כדי לגרום לקוחות לשדר עדכוני דגל עם תקציב קטן. LBAT משפר את הביצועים של הלמידה ההתפלגנית באמצעות חלוקה דינמית של ערך השידור. LBAT משתמש בסימני טרפלינג עצמאיים כדי לגרום לקוחות לשדר עדכוני דגל עם תקציב קטן.
תקציר מקורי באנגליתarXiv:2609.39646v1 Announce Type: new Abstract: Federated learning faces severe communication bottlenecks when clients upload high-dimensional model updates. Existing methods often compress these updates uniformly across all layers. This uniform approach ignores the heterogeneous value of different parameter blocks and wastes limited bandwidth on insensitive layers. To address this issue, we propose Layer-wise Budgeted Adaptive Transmission (LBAT). LBAT reframes federated communication under extreme uplink budgets as a resource allocation problem. Our framework dynamically estimates the transmission value of different layers utilising local training signals. It then employs an exact byte dynamic programming allocator to determine optimal rank and bit configurations under strict budgets. We
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית