כתבה
arXiv cs.LG ·
HARP: מעבד רוטציה אדפטיבי לקוונטיזציה קיצונית
HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization
HARP הוא מעבד רוטציה אדפטיבי שמשפר קוונטיזציה קיצונית של מודלים גדולים כמו Llama. הוא מאפשר רוטציה מותאמת לכל שכבה ולקוונטייזר, ומשפר את הביצועים ב-2-4 ביט. HARP נבדק על מודלים Llama ו-Qwen והראה שיפורים משמעותיים.
תקציר מקורי באנגליתarXiv:2605.29843v2 Announce Type: replace Abstract: Post-training quantization (PTQ) is essential for deploying LLMs under memory and bandwidth constraints. However, extreme low-bit quantization remains highly sensitive to activation outliers and anisotropic weight curvature. Existing incoherence-based PTQ methods mitigate this issue with fixed randomized Hadamard transforms (RHTs), which improve quantization robustness but cannot adapt the rotated basis to the layer, calibration distribution, or quantizer. We introduce HARP (Hadamard-preconditioned Adaptive Rotation Processor), a learnable structured two-sided orthogonal processor that replaces fixed Hadamard mixing while preserving exact full-precision equivalence. HARP represents each rotation as a product of sparse butterfly-like block
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית