כתבה
arXiv cs.CL ·
CPR ל-LM: רוטינג בפונקציות קריטיות כדי למנוע זיכרון קטסטרופלי בתפעול תחומי
CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation
CPR היא שיטה חדשה למניעת זיכרון קטסטרופלי בתפעול תחומי של מודלי ייעוץ טקסטואליים. CPR משתמשת ברוטינג בפונקציות קריטיות כדי לשמור על היכולות הכלליות של המודל, בעוד הוא עדיין יכול להתאים לתחומים חדשים. CPR נחשבת לשיטה יעילה יותר מהשיטות הקיימות, והיא יכולה לשפר את היכולות של המודל בתחומים שונים.
תקציר מקורי באנגליתarXiv:2608.30158v3 Announce Type: replace Abstract: Supervised fine-tuning (SFT) is the de facto standard for adapting large language models (LLMs) to target domains, but it often degrades the model's general capabilities, a phenomenon known as catastrophic forgetting. Existing approaches typically modify the SFT loss to mitigate forgetting, but they inevitably operate along a domain-generality trade-off. In this work, we step outside this trade-off by decoupling the two capabilities at the model level: we keep the original base model for general capability, and selectively invoke the SFT expert only when domain-specific knowledge is required. Specifically, we propose CPR (Critical-Point Routing), a token-level routing framework between a base model and its expert derivative, based on crit
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית