כתבה
arXiv cs.AI ·
התאמה חד-פאזית לשינוי פאזה לצורך תקשורת יעילה של LoRA חד-פדרטיבי
Adaptive Phase-Switching for Communication-Efficient Federated LoRA Fine-Tuning
המאמר עוסק בפיתוח שיטה לשינוי פאזה חד-פאזית לצורך תקשורת יעילה של LoRA חד-פדרטיבי. השיטה, ReverseAdaptive, מצליחה להצטיין בהצטברות ניצחונות על FLoRA ו-FFA-LoRA, ומציעה פתרון יעיל לבעיית התקשורת בחד-פדרטיבי.
תקציר מקורי באנגליתarXiv:2609.13512v1 Announce Type: cross Abstract: Federated fine-tuning of large language models with low-rank adaptation reduces per-client trainable parameters, but client-to-server communication remains the dominant cost. Existing accounting for federated LoRA protocols omits the asymmetric transition round when a protocol changes aggregation mode, and reports savings that ignore grouped-query attention shapes. This paper measures per-round upload and download bytes for a bidirectional B-only federated LoRA protocol and places five methods, three from prior work, on a single communication-quality frontier. The frontier has a knee, which an adaptive phase-switching aggregator, ReverseAdaptive, locates by monitoring the relative improvement in global training loss against a dimensionless
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית