כתבה
arXiv cs.CL ·
Scale-QLoRA: חיבור מאדפטור LoRA למודל הבסיס
Scale-QLoRA: Code-Invariant Adapter Merging for Native 4-bit Microscaling LLMs
Scale-QLoRA מאפשר חיבור מאדפטור LoRA למודל הבסיס תוך שמירת דיוק. המאמר עוסק בפיתוח Scale-QLoRA, שהוא טכניקה לחיבור מאדפטור LoRA למודל הבסיס, ומציע פתרון לבעיה של חיסול דיוק במהלך חיבור. Scale-QLoRA עובד עם מודלים שונים, כולל LangGraph, ומציע פתרון יעיל ודיוקני.
תקציר מקורי באנגליתarXiv:2609.04526v1 Announce Type: new Abstract: Merging a LoRA adapter into its base model is standard deployment practice: it removes the runtime adapter's per-forward overhead and leaves a single standalone checkpoint any serving stack can load. On a native 4-bit microscaling checkpoint (NVFP4, MXFP4) that step stops being free. The merged weights must be written back through a quantizer, which re-derives the checkpoint's discrete E2M1 code plane (roughly 90% of the artifact's bytes), so the deployed artifact becomes coupled to one quantization convention, and every later code-touching event in its lifecycle can move it. Done naively the step is worse than fragile: it deletes the adaptation, by up to 39 pp, because against an already-on-grid base the reconstruction optimum is that base.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית