כתבה
arXiv cs.LG ·
Scale-QLoRA: שילוב מהיר של אדפטרים
Scale-QLoRA: Code-Invariant Adapter Merging for Native 4-bit Microscaling LLMs
Scale-QLoRA הוא אלגוריתם לשילוב אדפטרים במודלים גדולים. הוא מאפשר שילוב מהיר ויעיל של אדפטרים במודלים כמו LLaMA, תוך שמירה על דיוק המודל. האלגוריתם מיועד לשימוש במערכות חומרה כמו NVIDIA.
תקציר מקורי באנגליתarXiv:2609.04526v1 Announce Type: cross Abstract: Merging a LoRA adapter into its base model is standard deployment practice: it removes the runtime adapter's per-forward overhead and leaves a single standalone checkpoint any serving stack can load. On a native 4-bit microscaling checkpoint (NVFP4, MXFP4) that step stops being free. The merged weights must be written back through a quantizer, which re-derives the checkpoint's discrete E2M1 code plane (roughly 90% of the artifact's bytes), so the deployed artifact becomes coupled to one quantization convention, and every later code-touching event in its lifecycle can move it. Done naively the step is worse than fragile: it deletes the adaptation, by up to 39 pp, because against an already-on-grid base the reconstruction optimum is that base
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית