כתבה
arXiv cs.CL ·
לא רק רוטינג: ניתוח תחרות תת-תחום ב-MoE+LoRA בתרגום תחומי
Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning
במאמר זה, המחברים חוקרים את התחרות בתחום התרגום של MoE+LoRA. הם מציגים תרגיל חדש, SpawnLoRA, שמסוגל לצמצם תרגום שלילי. התרגיל משתמש בגירסאות של Phi-tiny-MoE-instruct ו-OLMoE-1B-7B.
תקציר מקורי באנגליתarXiv:2609.03150v1 Announce Type: cross Abstract: Multi-domain fine-tuning often combines MoE routing with LoRA, assuming that token-level routing separates domain-specific updates. We test this assumption in MoE+LoRA using Python code paired with biomedical text and mathematical reasoning. Although these domains show near-disjoint expert routing, adding biomedical data substantially increases code perplexity, indicating that routing separation alone may not prevent negative transfer. To localize the failure, we introduce Jaccard routing overlap and adapter-gradient cosine similarity, which measure expert sharing and update compatibility, respectively. These diagnostics indicate that interference arises mostly from nearly orthogonal domain gradients competing within the same low-rank adapt
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית