כתבה
arXiv cs.AI ·
ACE: קונסולידציה של מעבדי תיקון עבור תיקון עדין של MoE LLMs
ACE: Adapter Consolidation across Experts for Parameter-Efficient Fine-Tuning of MoE LLMs
ACE (Adapter Consolidation across Experts) היא שיטה חדשה לתיקון עדין של MoE LLMs שמאחדת מעבדי תיקון ומקטינה את זמן ההקלדה. ACE מציגה קונסולידציה של מעבדי תיקון והפיכתם למעבדי תיקון גבוה-דרגה. ACE נבחנה על 12 קבצי נתונים ו-4 רכיבי MoE, והיא הציגה תוצאות טובות יותר משיטות תיקון עדין אחרות.
תקציר מקורי באנגליתarXiv:2609.06072v1 Announce Type: cross Abstract: Parameter-efficient fine-tuning (PEFT) of mixture-of-experts (MoE) models commonly attaches a separate low-rank adapter to each expert. This expert-wise design fragments adaptation in three ways: capacity is split across narrow low-rank updates, gradient supervision becomes sparse and imbalanced under sparse routing, and execution is decomposed into many small GEMMs. We find that such expert-wise separation is often unnecessary, as subsets of LoRA adapters become functionally similar during fine-tuning, revealing redundancy among expert-specific adapters. Based on this redundancy, we propose ACE (Adapter Consolidation across Experts), which groups redundant experts and replaces their expert-specific adapters with group-shared higher-rank Lo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית