כתבה
arXiv cs.CL ·
CHASE: ניצול מבנה ערוץ להנדסת מודלים גיאומטריים
CHASE: Channel-Aligned Structure Exploitation for Geometry-Aware Model Engineering
CHASE הוא שיטה לניצול מבנה ערוץ להנדסת מודלים גיאומטריים. היא משתמשת ב-GSA לאיתור מבנים ברשתות נוירוניות ויישומם במודלים שונים. השיטה הוכחה כיעילה במגוון יישומים, כולל עדכון פרמטרים, גזירה מבנית ומיזוג מודלים.
תקציר מקורי באנגליתarXiv:2610.09476v1 Announce Type: cross Abstract: Geometric and Spectral Alignment (GSA) characterizes trained networks through spectral concentration, physical-channel alignment, support structure, and changes in singular bases. In this paper, we propose CHASE (Channel-Aligned Structure Exploitation) to use these structures in practical model design. CHASE covers six applications across model modification, reconfiguration, and compression. CORA, COEC, and CORAM apply GSA to parameter-efficient finetuning, structured-pruning compensation, and model merging. We further develop three new methods. CAGA uses GSA to identify multi-head attention heads that can share a KV representation and constructs the shared key and value heads through geometric alignment and low-rank subspace extraction. SA
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית