כתבה
arXiv cs.LG ·
התאמת מערכת של חוקרי-מומחים מאוחדת ברשתות קצה ניידות תחת הטרוגניות נתונים
Federated Mixture-of-Experts Alignment on Mobile Edge Networks under Data Heterogeneity
מאמר זה עוסק בלמידת רשת פדרטיבית של מערכות של חוקרי-מומחים מאוחדת ברשתות קצה ניידות. המאמר מציג פרקטיקה חדשה להתאמת מערכת של חוקרי-מומחים מאוחדת, המכונה FedAlign-MoE. FedAlign-MoE משתמשת בשיטת התאמה של רשתות קצה ניידות כדי להתאים את המערכת של חוקרי-מומחים מאוחדת. המאמר גם מציג תוצאות של ניסויים שהראו כי FedAlign-MoE מציגה תוצאות טובות יותר מאשר פרקטיקות התאמה אחרות.
תקציר מקורי באנגליתarXiv:2603.21276v2 Announce Type: replace Abstract: The growing demand for on-device large language model (LLM) services on mobile edge devices has driven the adoption of Mixture-of-Experts (MoE) architectures, which scale model capacity with limited computation. Since fine-tuning MoE-based LLMs relies on privacy-sensitive local data, federated learning (FL) offers a natural paradigm for collaborative training without exposing raw data. However, integrating MoE-based LLM fine-tuning into FL faces two critical challenges caused by data heterogeneity across clients: (i) divergent local data distributions drive clients to develop distinct gating preferences, so direct parameter aggregation yields a one-size-fits-none global gating network; and (ii) same-indexed experts develop disparate seman
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית