כתבה
arXiv cs.CL ·
CoDe-LoRA: פתרון לבעיית האורתוגונליות בלמידה רציפה של LLMs
CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling
CoDe-LoRA היא שיטה חדשה ללמידה רציפה של LLMs שמטרתה למנוע זיכרון קטסטרופלי. השיטה נקראת CoDe-LoRA והיא פותרת את בעיית האורתוגונליות בלמידה רציפה של LLMs. CoDe-LoRA משתמשת במנגנון הפרויקציה הנייטרלי התפקודי ובשירותי רוטינג סמנטיים כדי לשמור על היכולת לבנות ידע כללי ולהתאים למשימות ספציפיות. התוצאות הניסויים של CoDe-LoRA היו הטובות ביותר בממוצע.
תקציר מקורי באנגליתarXiv:2610.08312v1 Announce Type: cross Abstract: Continual learning (CL) is essential for Large Language Models (LLMs) to sequentially adapt to evolving tasks. To mitigate catastrophic forgetting, recent advances implement low-rank adaptation with orthogonal projections (e.g., O-LoRA) to isolate task parameters. However, we reveal that such strict geometric constraints trigger an "Orthogonality Dilemma": rigid parameter isolation impedes the transfer and accumulation of shared representations across semantically related tasks. In this work, we propose a new replay-free method, called Consolidation and Decoupling LoRA (CoDe-LoRA), for CL of LLMs. CoDe-LoRA disentangles the learning process into Consolidating Universal Knowledge and Decoupling Task-Specific Knowledge. To achieve this, CoDe-
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית