יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

הגבלת פעולה בזמן דחיסה

Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs
חוקרים בדקו את השפעת הדחיסה על מודלי שפה גדולים. הם מצאו שהדחיסה משפיעה על היכולת לכוון את המודלים, אך הכיוון ההתנהגותי נשמר. המחקר השתמש במודל LLaMA ובמסגרת LangChain.
תקציר מקורי באנגליתarXiv:2609.06473v1 Announce Type: new Abstract: Inference-time activation steering enables behavioral control of large language models without parameter modification, while post-training quantization reduces memory and compute costs for deployment. Despite their growing convergence in practice, the interaction between these two techniques remains uncharacterized. We systematically study activation steering under weight-only quantization (INT8 and NF4) across four open-weight 7-9B models and two behavioral targets: judged sentiment and judge-free reasoning length. Using an iso-effect framework that compares capability costs at matched behavioral effect, we find that sentiment steering survives quantization intact. After correcting a GSM8K parser artifact with a uniform v2.3.1 rescore, the p
קרא במקור המקורי