כתבה
arXiv cs.CL ·
קינטיקה יחסית: קליברציה של זכויות תחומיות לגרידינג רציף של LLM
Relative Kinetic Utility: Calibrating Cross-Layer Credit for Global Structured LLM Pruning
אוריינטציה חדשה לגרידינג של LLM: קליברציה של זכויות תחומיות לגרידינג רציף. המחקר מציג קריטריון חדש להערכת חשיבות של ערוצים, שמאפשר להשוות את חשיבותם של ערוצים שונים בשכבות שונות. הקריטריון, שנקרא Global Relative Kinetic Utility (RKU), משתמש באותיות סופיות של הערוצים כדי להעריך את חשיבותם, ואז משמש באותיות אלה כדי להשוות את חשיבותם של הערוצים בשכבות שונות.
תקציר מקורי באנגליתarXiv:2605.09008v2 Announce Type: replace-cross Abstract: Global structured pruning requires channels from different layers to compete under a shared sparsity budget, raising two coupled challenges: identifying which channels should be retained and making their scores comparable across layers. Raw channel scores can contain block-common scale that leaves within-block ordering unchanged but distorts model-wide competition. Our experiment indicates that similar layer-wise allocations can retain substantially different FFN channels, so layer allocation alone does not determine channel identity. Motivated by this separation, we introduce Global Relative Kinetic Utility (Global RKU), a label-free criterion that separates channel importance estimation from cross-layer comparison. Global RKU meas
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית