כתבה
arXiv cs.LG ·
ApexQuant: קלט-חינם להצפנה אלסטית בעזרת ריסון-מחדש
ApexQuant: Data-Free Elastic Quantization by Residual Re-Isotropization
ApexQuant היא שיטת הצפנה חינם שמשתמשת בריסון-מחדש כדי להצפן זיכרון וקלט. השיטה נבחנה על ארבעה מודלי LLM פתוחים ובתחומים של תצפיות-ארץ ורפואה.
תקציר מקורי באנגליתarXiv:2610.07904v1 Announce Type: new Abstract: We introduce ApexQuant, a calibration-free quantization method that recursively re-quantizes the residual error, serving as a refinement layer on top of existing quantizers. We establish that a fresh random rotation returns each residual to the uniform distribution on the hypersphere, which characterizes the rate of progressive error decay across successive passes. This result lets us determine, before any weight is read, how many passes a layer needs for a target weight-space error. Every prefix is itself a valid lower-rate model, so one artifact serves several precisions. We instantiate ApexQuant with three interchangeable stages, scalar, $E_8$ and trellis, and validate it on four open-weight LLMs and on Earth-observation and medical domain
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית