כתבה
arXiv cs.AI ·
CF-LoRA: פרוטוקול חדש לאימון מודלי LoRA באופן פדרטיבי
CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning
CF-LoRA הוא פרוטוקול חדש לאימון מודלי LoRA באופן פדרטיבי, שמשלב פקטורים של LoRA וקבוצת קליינטים המתאימה להתאמה. הפרוטוקול מציע שתי תכונות חדשות: פקטורים של LoRA שנפרדים וקבוצת קליינטים המתאימה להתאמה. CF-LoRA נבחן על ארבעה משימות שפה וארבעה קבצי נתונים והוא מציג תוצאות טובות יותר מאשר פרוטוקולים אחרים.
תקציר מקורי באנגליתarXiv:2609.36986v1 Announce Type: new Abstract: Federated LoRA fine-tuning enables parameter-efficient adaptation of pre-trained models without sharing private data, but suffers from two fundamental mismatches under heterogeneous client data: a structural aggregation mismatch caused by independently averaging LoRA factors, and a statistical collaboration mismatch caused by enforcing a single global adapter across divergent clients. To address these issues, we propose CF-LoRA, a clustered federated LoRA fine-tuning framework that combines decoupled factor aggregation with adaptation-aware client clustering. CF-LoRA first learns a globally shared $A$ factor while retaining personalized $B_i$ factors, then identifies clients with similar adaptation patterns based on the cosine similarity of t
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית