כתבה
arXiv cs.LG ·
שיווי משקל יציבות-פלסטיות דרך בחירת וקטור יחיד ב-LLM
Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
אפליקציה של LLMs ללמידה רציפה דרך בחירת וקטור יחיד. פיתוח של SVC, תוכנה שמספקת שיווי משקל יציבות-פלסטיות ב-Learning LLMs.
תקציר מקורי באנגליתarXiv:2610.11076v1 Announce Type: new Abstract: Domain-specific continual adaptation of LLMs risks catastrophic forgetting, creating a fundamental tension between acquiring new capabilities and preserving those learned during pretraining. PEFT mitigates this problem by restricting the number of trainable parameters, but existing methods lack a principled unit for deciding where plasticity should be allocated and stability should be preserved. We identify the singular-vector channel as a natural unit for managing this trade-off. Each channel represents an input-output transformation, which can be updated to acquire new knowledge or fixed to preserve pretrained capabilities. Based on this perspective, we introduce SVC, a parameter-efficient continual-learning method that selectively updates
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית