כתבה
arXiv cs.LG ·
ChainLoRA: חברת תכונות גאומטריות למיזוג תפקידים בלי ריפליי
ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs
ChainLoRA מציע פתרון ללמידה רציפה של דגלי תגובה גדולים, על ידי חברת תכונות גאומטריות של תפקידים. הפתרון נבחן במבחנים והוכיח יעילות גבוהה.
תקציר מקורי באנגליתarXiv:2610.00431v1 Announce Type: cross Abstract: Continual parameter-efficient fine-tuning for large language models (LLMs) must balance retention of previously acquired knowledge, adaptation to new tasks, and strict parameter budgets. We present \textbf{ChainLoRA}, a replay-free continual merging framework built on chain-updated task-vector geometry. From a parameter-merging perspective, we formulate a geometric view of forgetting through a measurable interaction between task updates, separating directional overlap from coefficient coupling. Building on this view, ChainLoRA combines chain-updated training with post-stream adaptive SVD merging. During training, initialization and a one-sided orthogonality proxy use only the last carrier, keeping their historical-state footprint and regula
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית