כתבה
arXiv cs.AI ·
FeatCal: תקינות תכונות למודלים פוסט-מיזוג
FeatCal: Feature Calibration for Post-Merging Models
FeatCal מציע שיטה להפחתת תקינות תכונות במודלים שהוחברו. השיטה, שפותחה על ידי FeatCal, משתמשת בקבוצת תקינה קטנה כדי לתקן משקלי המודל בצורה שורה אחר שורה, כדי להפחית את התקינות התכונות ולשמור על היתרונות של המיזוג. FeatCal משתמשת בפתרון סגור-צורה יעיל, עם אפס גרדיאנט, אופטימיזציה איטרטיבית, או חלקי נוספים. FeatCal הציגה תוצאות טובות יותר מ-Surgery ו-ProbSurgery, הבסיסים הקרובים ביותר לתקינות פוסט-מיזוג: 85.5% נגד 77.0%/78.8% על CLIP-ViT-B/32 Task Arithmetic (TA) ו-85.2% נגד 83.7%/82.2% על FLAN-T5-base GLUE.
תקציר מקורי באנגליתarXiv:2605.13030v2 Announce Type: replace-cross Abstract: Model merging combines task experts into one model and avoids joint training, retraining, or deploying many expert models, but the merged model often still underperforms task experts. We study this performance gap through feature drift, the difference between features produced by the merged model and by the expert on the same input. Our theory decomposes this drift into upstream propagation and local mismatch, tracks how it propagates and combines through later layers in forward order, and links final feature drift to output drift. This view motivates FeatCal, which uses a small calibration set to calibrate the merged model weights layer by layer in forward order, reducing feature drift while staying close to merged weights and pres
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית