כתבה
arXiv cs.LG ·
שינוי פאזה אדפטיבי לתקשורת יעילה של LoRA פיינטונינג פדרטיבי
Adaptive Phase-Switching for Communication-Efficient Federated LoRA Fine-Tuning
שינוי פאזה אדפטיבי לתקשורת יעילה של LoRA פיינטונינג פדרטיבי. המחקר מציג טכניקה חדשה לשינוי פאזה אדפטיבי שמקטין את העלות התקשורתיות של LoRA פיינטונינג פדרטיבי. הטכניקה משתמשת בשינוי פאזה אדפטיבי שמקטין את העלות התקשורתיות של LoRA פיינטונינג פדרטיבי. המחקר מציג תוצאות של ניסויים שהראו שהטכניקה החדשה מקטינה את העלות התקשורתיות של LoRA פיינטונינג פדרטיבי בכ-40.5%.
תקציר מקורי באנגליתarXiv:2609.13512v1 Announce Type: new Abstract: Federated fine-tuning of large language models with low-rank adaptation reduces per-client trainable parameters, but client-to-server communication remains the dominant cost. Existing accounting for federated LoRA protocols omits the asymmetric transition round when a protocol changes aggregation mode, and reports savings that ignore grouped-query attention shapes. This paper measures per-round upload and download bytes for a bidirectional B-only federated LoRA protocol and places five methods, three from prior work, on a single communication-quality frontier. The frontier has a knee, which an adaptive phase-switching aggregator, ReverseAdaptive, locates by monitoring the relative improvement in global training loss against a dimensionless th
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית