כתבה
arXiv cs.LG ·
ShamAN-Q: שיטת קוונטיזציה ננו-קוונטית משופרת למודלי LLM עם כוחות נמוכים מ-1
ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights
שיטת קוונטיזציה חדשה למודלי LLM עם כוחות נמוכים מ-1, המשפרת את תוצאות המודלים ומשמרת את תכונותיהם. השיטה, שנקראת ShamAN-Q, משתמשת בטכניקה של NanoQuant ומשפרת את הקוונטיזציה של המודלים. התוצאות הטובות של ShamAN-Q הוכחו במחקר שפורסם בארכיו של arXiv.
תקציר מקורי באנגליתarXiv:2609.38521v1 Announce Type: new Abstract: We introduce ShamAN-Q, a sub-1-bit post-training quantization method that extends NanoQuant by replacing each its diagonal reconstruction geometry with a tractable dense curvature metric, using a general paradigm popularized by the Shampoo optimizer. For each linear weight, ShamAN-Q fits a Kronecker product to the empirical Fisher information matrix of a small calibration set by Kullback--Leibler minimization, forming a Mahalanobis reconstruction loss from the result. The continuous ADMM updates from NanoQuant become solutions to Sylvester equations, while its discrete projection and deployment format remain unchanged. Because the curvature is local to a given set of weights, ShamAN-Q re-measures the input curvature statistic for each layer i
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית