כתבה
arXiv cs.AI ·
ShamAN-Q: שיטת קוונטיזציה ננו-קוונטית משופרת ל-LLM עם כוח-עבודה נמוך מ-1
ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights
ShamAN-Q היא שיטת קוונטיזציה ננו-קוונטית משופרת שמציגה פרטים חדשים על קוונטיזציה של LLMs. השיטה משתמשת בפרדיגמה של Shampoo ומתאימה קרונקר פרודוקט למטריקת פישר-אינפורמציה האמפירית. ShamAN-Q נבחנה על Qwen3-Base והציגה תוצאות טובות יותר מאשר NanoQuant.
תקציר מקורי באנגליתarXiv:2609.38521v1 Announce Type: cross Abstract: We introduce ShamAN-Q, a sub-1-bit post-training quantization method that extends NanoQuant by replacing each its diagonal reconstruction geometry with a tractable dense curvature metric, using a general paradigm popularized by the Shampoo optimizer. For each linear weight, ShamAN-Q fits a Kronecker product to the empirical Fisher information matrix of a small calibration set by Kullback--Leibler minimization, forming a Mahalanobis reconstruction loss from the result. The continuous ADMM updates from NanoQuant become solutions to Sylvester equations, while its discrete projection and deployment format remain unchanged. Because the curvature is local to a given set of weights, ShamAN-Q re-measures the input curvature statistic for each layer
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית