כתבה
arXiv cs.LG ·
IrekoGPT: שיטה להפיכת LLMs למודלים זערוריים
IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
אנו מציגים את IrekoGPT, שיטה להפיכת LLMs טבועים למודלים זערוריים. IrekoGPT משמר את מטריצות ההפרעה של SliceGPT, ומאפשר למודל להציג תת-רשתות נרות ומגודרות.
תקציר מקורי באנגליתarXiv:2610.00426v1 Announce Type: new Abstract: We introduce IrekoGPT, a post-hoc method for converting pretrained LLMs into slimmable models whose width can be adjusted at inference time. Building on SliceGPT, we retain its projection matrices without pruning them, allowing a single model to expose nested subnetworks at different widths. We improve robustness by calibrating each layer across multiple compression ratios, and correct downstream linear layers through gradient-free ridge regression. Across Llama and Qwen models, preliminary results show improvements over naive PCA-based slimming, with the largest gains at high compression. Code is available at https://github.com/aimagelab/IrekoGPT
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית