כתבה
arXiv cs.LG ·
ACE: איחוד מומחים לקיפול תכונות במודלים LLM
ACE: Adapter Consolidation across Experts for Parameter-Efficient Fine-Tuning of MoE LLMs
ACE הוא אלגוריתם חדש לאיחוד מומחים במודלים LLM. הוא מאפשר קיפול תכונות יעיל יותר ומשפר את ביצועי האימון. ACE תומך במודלים שונים, כולל LLaMA.
תקציר מקורי באנגליתarXiv:2609.06072v1 Announce Type: new Abstract: Parameter-efficient fine-tuning (PEFT) of mixture-of-experts (MoE) models commonly attaches a separate low-rank adapter to each expert. This expert-wise design fragments adaptation in three ways: capacity is split across narrow low-rank updates, gradient supervision becomes sparse and imbalanced under sparse routing, and execution is decomposed into many small GEMMs. We find that such expert-wise separation is often unnecessary, as subsets of LoRA adapters become functionally similar during fine-tuning, revealing redundancy among expert-specific adapters. Based on this redundancy, we propose ACE (Adapter Consolidation across Experts), which groups redundant experts and replaces their expert-specific adapters with group-shared higher-rank LoRA
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית